अप्रत्याशित नतीजे (Chroneme)
Zohaib Akhtarअंग्रेज़ी से अनूदित। मूल पढ़ें
इस हफ़्ते कुछ अप्रत्याशित नतीजे मिले। ज़्यादातर क्लिनिकल AI मॉडल दूसरे अस्पताल तक पहुँचने से पहले ही अटक जाते हैं। Epic का सेप्सिस मॉडल इसका सबसे जाना-माना उदाहरण है। यह अमेरिका में सबसे ज़्यादा इस्तेमाल होने वाले क्लिनिकल AI टूल्स में से एक है, जो सैकड़ों अस्पतालों में चल रहा है। इसे एक ऐसे तरीक़े के रूप में बेचा जाता है जिससे डॉक्टरों को मरीज़ में सेप्सिस होने से घंटों पहले चेतावनी मिल जाए।
2021 में Michigan की एक टीम ने इसकी स्वतंत्र जाँच की और नतीजे JAMA Internal Medicine में प्रकाशित किए। मॉडल ने सेप्सिस के सिर्फ़ एक तिहाई मामले पकड़े, लगभग हर पाँच में से एक हॉस्पिटल स्टे को फ़्लैग किया, और Epic के बताए आँकड़ों की तुलना में उसकी सटीकता 13 से 20 पॉइंट कम निकली।
यह कोई अनोखी बात नहीं है। इस घटना का एक नाम है: क्रॉस-डेटाबेस कोलैप्स। मॉडल सीख लेता है कि कोई एक जगह अपना डेटा कैसे दर्ज करती है, और जैसे ही उसका सामना किसी दूसरी जगह से होता है, उसकी धार चली जाती है।
मैंने Chroneme को एक अलग आधार पर बनाया। जो सिस्टम यह पढ़ता है कि समय के साथ शरीर असल में कैसे बदलता है, न कि अस्पताल उसे कैसे दर्ज करता है, उसे एक अस्पताल से दूसरे अस्पताल तक जा पाना चाहिए। और उसे किसी एक बीमारी तक सीमित नहीं रहना चाहिए। Epic सेप्सिस का अनुमान लगाता है। Chroneme ट्रैजेक्टरी पढ़ता है, इसलिए वही इंजन हालत में ऐसी किसी भी गिरावट को फ़्लैग करता है जो इतनी गंभीर हो कि वैसोप्रेसर, इंट्यूबेशन या डायलिसिस की ज़रूरत पड़े।
मैंने इसे दो विशाल, पूरी तरह स्वतंत्र ICU डेटाबेस पर परखा। अलग अस्पताल, अलग EHR, अलग दशक। नतीजों में आधे पॉइंट से भी कम का फ़र्क़ आया। क्लिनिकल AI में अलग-अलग डेटाबेस के बीच इतनी क़रीबी बराबरी दुर्लभ है, ख़ासकर ऐसे कंपोज़िट आउटकम के लिए जिसे किसी भी इंटरवेंशन से पहले मापा गया हो। यह कोलैप्स प्रकृति का कोई नियम नहीं है। यह इस बात का नतीजा है कि ज़्यादातर मॉडल कैसे बनाए जाते हैं। Chroneme संकेत देता है कि एक और रास्ता भी है।
आधे पॉइंट का फ़र्क़ इसलिए मायने रखता है क्योंकि इससे समीकरण से एक बड़ी चीज़ हट जाती है। ज़्यादातर क्लिनिकल AI को हर नई जगह पर फिर से वैलिडेट, फिर से ट्यून, और कभी-कभी फिर से ट्रेन करना पड़ता है। इसी लागत की वजह से अच्छे मॉडल अटक जाते हैं। अगर कोई सिस्टम अस्पतालों, EHR और दशकों के पार अपनी सटीकता बनाए रखता है, तो डिप्लॉयमेंट के काम की शक्ल ही बदल जाती है। रेगुलेटर उसका मूल्यांकन एक बार कर सकते हैं। स्वास्थ्य व्यवस्थाएँ उसे दोबारा बनाए बिना उस पर आगे निर्माण कर सकती हैं। क्लिनिकल AI की छत हमेशा से जनरलाइज़ेशन रही है। Chroneme संकेत देता है कि यह छत ऊपर खिसक सकती है।
अगर आप क्लिनिकल AI में काम करते हैं, तो मुझे बताइए कि यह कहाँ जाकर बिखरता है।
((Z))