Кому служить клінічний ШІ

Кілька років тому незалежно оцінили модель прогнозування сепсису, найпоширенішу в американських лікарнях. Сепсис виникає, коли звичайна інфекція запускає в організмі ланцюгову реакцію, яка починає виводити з ладу органи. Він може вбити протягом кількох годин, часто ще до того, як хтось усвідомить, наскільки тяжко хворий пацієнт. Модель, створена, щоб його розпізнавати, розпізнавала лише один справжній випадок із трьох і позначала як пацієнта високого ризику кожного п’ятого госпіталізованого.

Клініцисти швидко зробили висновки. Сигнал тривоги постійно спрацьовує на пацієнтах, чий стан не погіршується, і пропускає більшість тих, у кого погіршується. За кілька тижнів ви перестаєте йому довіряти. Ви просто мусите перестати йому довіряти. Сигнал перетворюється на шум. Система, яку купили, щоб помічати погіршення, привчила всіх ігнорувати погіршення.

Це перша проблема: погана математика. Жодне рішення про маршрутизацію її не виправить. Зламану систему не можна підключити так, щоб вона служила пацієнтам. Модель сепсису не пройшла валідацію, і ніщо далі в ланцюжку цього не змінить.

Це був 2021 рік. Цього місяця в Nature вийшла стаття про MIRA. Це автономний медичний ШІ-агент, який читає історії хвороби пацієнтів, призначає обстеження, інтерпретує результати й пише плани лікування. На однакових випадках він досяг діагностичної точності 87,8% проти 78,1% у сертифікованих лікарів-спеціалістів. Він дотримується стандартів лікування послідовніше, ніж лікарі, з якими його порівнювали. Ось де сьогодні проходить передній край.

MIRA пройшла валідацію. Математика працює. І саме тому нагальним стає зовсім інше питання.

Та сама модель з ідентичними результатами служить зовсім різним людям залежно від одного вибору: куди йде прогноз.

Якщо результат спершу потрапляє до клініциста, він служить пацієнтові, бо клініцист може діяти на його основі.

Якщо він спершу потрапляє туди, де вирішують про страхове покриття, він служить страховикові. Пацієнтів із високим ризиком позначають для відмови ще до того, як вони захворіють, а сам пацієнт цього сигналу взагалі не бачить.

Спрямуйте його до служби, що розподіляє ліжка, і він служитиме лікарняній логістиці: ліжка звільнятимуться швидше. Точність та сама, господар інший. Діагноз пацієнтові зрештою все одно поставлять, але рішення про маршрутизацію ухвалила лікарня, а не він.

Модель не змінилася. Математика бездоганна. Кому вона служить, залежить від того, хто вирішив, куди йде сигнал.

Тож щодо будь-якої з цих систем варто питати ось що: хто бачить результат, хто діє на його основі і хто платить, коли він помиляється.

Для моделі сепсису це питання майже не має значення, бо модель зламана. Ціну платять усі. Лікар чи медсестра, які навчилися пропускати сигнали тривоги повз вуха, лікарня, що несе юридичну відповідальність, а під усім цим пацієнт, чийого погіршення ніхто не помічає, бо всі ігнорують систему, яка надто часто здіймала тривогу даремно.

У випадку MIRA відповідь не випадкова. Хтось вирішив, куди йде сигнал, і побудував систему так, щоб вона надсилала його саме туди.

І відповідь має бути конкретною. «Вона служить пацієнтам» звучить правильно і ні до чого не зобов’язує. «Вона служить команді, що розподіляє ліжка, і ця команда бачить результат, якого пацієнт не побачить ніколи»: ось це конкретно. Якщо ви не можете назвати сторону, ви насправді не відповіли.

Якщо ви працюєте в лікарні, яка купує цю технологію, вам однаково доведеться її валідувати. Клінічні докази, перевірка на упередженість, задокументовані сценарії збоїв. Це справжня робота, і MIRA пройшла її для восьми діагнозів, тоді як модель сепсису не змогла пройти її взагалі.

Але валідація показує лише, чи працює ШІ або прогностична модель. Вона нічого не каже про те, кому ця модель служить. Модель може пройти будь-який тест, яким ви її перевірите, і все одно бути підключеною так, що служитиме не тій стороні. Бездоганні докази й погані стимули чудово уживаються в одній системі. Це різні проблеми, і розв’язати першу ще не означає навіть торкнутися другої.

Потрібне і те, і те. Добра математика, а потім справжня відповідь на питання, кому вона служить. Більшість систем так і не доводять математику до ладу. Більшість тих, що доводять, так і не ставлять другого питання.

Загальні LLM тепер заходять просто в лікарні. Пацієнти користуються ChatGPT, Claude та іншими, щоб читати власні результати аналізів і вирішувати, чи варто через щось іти до лікаря. Лікарні впроваджують їх, так і не вирішивши, куди має йти результат. Тривожить не це.

Тривожить те, що маршрутизатором непомітно став сам пацієнт. Людина читає показник аналізу, питає чат-бота, що він означає, і весь цей обмін відбувається поза будь-якою лікарнею, будь-яким клініцистом, будь-якою системою, створеною для того, щоб відповідати перед цією людиною. Те, що формує відповідь, вирішили раніше, вище за течією, ті, хто навчав модель і задавав її стимули. І ніхто з них не відповідає перед пацієнтом.

Клініцист, який перестав зважати на зламаний сигнал тривоги, це локальний збій, одне погане рішення про закупівлю в одній лікарні. Пацієнт, який ставить собі діагноз за допомогою споживчого чат-бота, це щось більше: клінічне судження повністю покидає клініку й переходить у системи, яких ніхто в медицині не контролює. Питання вже не в тому, куди лікарня надсилає сигнал. Питання в тому, що вам, за рішенням компанії, яка створила модель, слід знати.

Для всього цього не треба розуміти, як працює нейронна мережа. Треба лише поставити питання. Кому це служить, і назвати так конкретно, щоб це можна було записати: ту реальну сторону, чиї інтереси визначили, що вам дозволено бачити. ((Z))