क्लिनिकल AI किसके काम आता है

कुछ साल पहले अमेरिकी अस्पतालों में सबसे ज़्यादा इस्तेमाल होने वाले सेप्सिस प्रेडिक्शन मॉडल का स्वतंत्र मूल्यांकन हुआ। सेप्सिस तब होता है जब एक आम संक्रमण शरीर में ऐसी चेन रिएक्शन शुरू कर देता है जिससे अंग एक-एक करके काम करना बंद करने लगते हैं। यह कुछ ही घंटों में जान ले सकता है, अक्सर इससे पहले कि किसी को एहसास हो कि मरीज़ कितना बीमार है। जो मॉडल इसे पकड़ने के लिए बनाया गया था, उसने असली मामलों में से सिर्फ़ तीन में से एक को पकड़ा, और अस्पताल में भर्ती हर पाँच में से एक मरीज़ को हाई रिस्क बता दिया।

क्लिनिशियन जल्दी सीख गए। अलर्ट उन मरीज़ों पर लगातार बजता रहता है जिनकी हालत नहीं बिगड़ रही, और जिनकी बिगड़ रही है, उनमें से ज़्यादातर को चूक जाता है। कुछ हफ़्तों बाद आप उस पर भरोसा करना छोड़ देते हैं। आपको उस पर भरोसा करना छोड़ना ही पड़ता है। अलर्ट बस शोर बनकर रह जाता है। जो सिस्टम बिगड़ती हालत पकड़ने के लिए ख़रीदा गया था, उसने सबको बिगड़ती हालत को अनदेखा करना सिखा दिया।

यह पहली समस्या है: गलत गणित। रूटिंग का कोई भी फ़ैसला इसे ठीक नहीं करता। एक टूटे हुए सिस्टम को आप कैसे भी जोड़ दें, वह मरीज़ों के काम नहीं आएगा। सेप्सिस मॉडल वैलिडेशन में ही फ़ेल हो गया था, और आगे चलकर कुछ भी इसे नहीं बदलता।

वह 2021 की बात थी। इस महीने MIRA Nature में प्रकाशित हुआ। यह एक ऑटोनॉमस मेडिकल AI एजेंट है जो मरीज़ों की हिस्ट्री पढ़ता है, टेस्ट ऑर्डर करता है, नतीजों को समझता है और इलाज की योजना लिखता है। एक जैसे केसों पर इसकी डायग्नोस्टिक सटीकता 87.8% रही, जबकि बोर्ड-सर्टिफ़ाइड डॉक्टरों की 78.1%। जिन डॉक्टरों से इसकी तुलना की गई, उनसे ज़्यादा लगातार यह स्टैंडर्ड ऑफ़ केयर का पालन करता है। आज की सबसे आगे की तकनीक ऐसी दिखती है।

MIRA वैलिडेशन में पास हुआ। गणित काम करता है। और इसी से एक दूसरा सवाल ज़रूरी हो जाता है।

वही मॉडल, बिल्कुल एक जैसे आउटपुट के साथ, पूरी तरह अलग-अलग लोगों के काम आता है, और यह एक ही फ़ैसले पर निर्भर करता है: प्रेडिक्शन कहाँ जाता है।

अगर आउटपुट सबसे पहले किसी क्लिनिशियन तक पहुँचता है, तो वह मरीज़ के काम आता है, क्योंकि क्लिनिशियन उस पर कदम उठा सकता है।

अगर वह सबसे पहले कवरेज के फ़ैसले तक पहुँचता है, तो वह बीमा कंपनी के काम आता है। हाई रिस्क मरीज़ बीमार पड़ने से पहले ही इनकार के लिए चिह्नित हो जाते हैं, और मरीज़ को वह संकेत कभी दिखता ही नहीं।

इसे बेड मैनेजमेंट की ओर भेज दीजिए, तो यह अस्पताल की लॉजिस्टिक्स के काम आता है, और मरीज़ों को बेड से जल्दी आगे बढ़ाता है। सटीकता वही, मालिक दूसरा। मरीज़ का डायग्नोसिस आख़िरकार हो ही जाता है, लेकिन रूटिंग का फ़ैसला अस्पताल ने किया, मरीज़ ने नहीं।

मॉडल कभी नहीं बदला। गणित सही है। यह किसके काम आएगा, यह आख़िर में इस पर टिका है कि संकेत कहाँ जाएगा, इसका फ़ैसला किसने किया।

तो इनमें से किसी भी सिस्टम के बारे में पूछने लायक सवाल यह है कि आउटपुट कौन देखता है, उस पर कदम कौन उठाता है, और गलत होने पर क़ीमत कौन चुकाता है।

सेप्सिस मॉडल के मामले में यह सवाल लगभग बेमानी है, क्योंकि मॉडल ही टूटा हुआ है। नुक़सान हर तरफ़ होता है। वह डॉक्टर या नर्स जिसने अलार्म अनसुने करना सीख लिया, वह अस्पताल जिस पर जवाबदेही का बोझ है, और इन सबके नीचे वह मरीज़, जिसकी बिगड़ती हालत पर किसी का ध्यान नहीं जाता, क्योंकि सब उस सिस्टम को अनदेखा कर रहे हैं जो हद से ज़्यादा बार झूठा अलार्म बजा चुका है।

MIRA के मामले में जवाब कोई इत्तफ़ाक़ नहीं है। किसी ने तय किया कि संकेत कहाँ जाएगा, और सिस्टम को उसे वहीं भेजने के लिए बनाया।

और जवाब ठोस होना चाहिए। "यह मरीज़ों के काम आता है" ऐसी बात है जो सुनने में सही लगती है और किसी चीज़ की ज़िम्मेदारी नहीं लेती। "यह बेड मैनेजमेंट टीम के काम आता है, जिसे वह आउटपुट दिखता है जो मरीज़ को कभी नहीं दिखेगा" ठोस जवाब है। अगर आप उस पक्ष का नाम नहीं ले सकते, तो आपने असल में जवाब दिया ही नहीं।

अगर आप किसी ऐसे अस्पताल में काम करते हैं जो यह तकनीक ख़रीद रहा है, तो आपको इसे वैलिडेट करना ही होगा। क्लिनिकल सबूत, बायस की जाँच, दर्ज किए गए फ़ेलियर मोड। यह काम असली है, और MIRA ने इसे आठ डायग्नोसिस में पार किया, जबकि सेप्सिस मॉडल इसे बिल्कुल भी पार नहीं कर पाया।

लेकिन वैलिडेशन सिर्फ़ यह बताता है कि कोई AI या प्रेडिक्शन मॉडल काम करता है या नहीं। वह यह बिल्कुल नहीं बताता कि वह किसके काम आता है। कोई मॉडल आपके हर टेस्ट में पास हो सकता है और फिर भी गलत पक्ष की सेवा के लिए जोड़ा गया हो सकता है। बेहतरीन सबूत और गलत इंसेंटिव एक ही सिस्टम में आराम से साथ रह लेते हैं। ये अलग-अलग समस्याएँ हैं, और पहली में पास होने से दूसरी पर कोई असर नहीं पड़ता।

आपको दोनों चाहिए। सही गणित, और फिर इस सवाल का असली जवाब कि यह किसके काम आता है। ज़्यादातर सिस्टम गणित ही सही नहीं कर पाते। और जो कर लेते हैं, उनमें से ज़्यादातर दूसरा सवाल कभी नहीं पूछते।

जनरल LLM अब सीधे अस्पतालों में पहुँच रहे हैं। मरीज़ अपनी लैब रिपोर्ट पढ़ने और यह तय करने के लिए कि डॉक्टर के पास जाना ज़रूरी है या नहीं, ChatGPT, Claude और बाक़ी टूल इस्तेमाल कर रहे हैं। अस्पताल इन्हें लगा रहे हैं, यह तय किए बिना कि आउटपुट को जाना कहाँ है। परेशान करने वाली बात यह नहीं है।

परेशान करने वाली बात यह है कि मरीज़ चुपचाप ख़ुद राउटर बन गया है। कोई लैब वैल्यू पढ़ता है, चैटबॉट से पूछता है कि इसका क्या मतलब है, और यह पूरी बातचीत किसी अस्पताल, किसी क्लिनिशियन, किसी भी ऐसे ढाँचे के बाहर होती है जो उसके प्रति जवाबदेह होने के लिए बना हो। उस जवाब को जो भी चीज़ आकार देती है, वह पहले ही तय हो चुकी होती है, उसके हाथों जिसने मॉडल को ट्रेन किया और उसके इंसेंटिव तय किए। किसी ऐसे व्यक्ति के हाथों नहीं जो मरीज़ के प्रति जवाबदेह हो।

टूटे हुए अलार्म को अनसुना करता क्लिनिशियन एक स्थानीय विफलता है, एक अस्पताल में ख़रीद का एक गलत फ़ैसला। किसी कंज़्यूमर चैटबॉट के ज़रिये ख़ुद अपना डायग्नोसिस करता मरीज़ कहीं बड़ी बात है: क्लिनिकल फ़ैसला क्लिनिक से पूरी तरह बाहर निकल रहा है, और ऐसे सिस्टम में जा रहा है जिन पर चिकित्सा जगत में किसी का नियंत्रण नहीं। सवाल अब यह नहीं रहा कि अस्पताल संकेत कहाँ भेजता है। सवाल यह है कि मॉडल बनाने वाली कंपनी ने क्या तय किया कि आपको क्या पता होना चाहिए।

इसमें से किसी के लिए भी यह समझना ज़रूरी नहीं कि न्यूरल नेटवर्क कैसे काम करता है। बस सवाल पूछना ज़रूरी है। यह किसके काम आता है, और इतना साफ़ नाम लेकर कि आप उसे लिख सकें: वह असली पक्ष, जिसके हितों ने तय किया कि आपको क्या देखने दिया जाएगा। ((Z))