Кому служит клинический ИИ

Несколько лет назад самая распространённая модель прогнозирования сепсиса в американских больницах прошла независимую оценку. Сепсис возникает, когда обычная инфекция запускает в организме цепную реакцию, которая начинает отключать органы. Он может убить в течение нескольких часов, часто прежде, чем кто-то поймёт, насколько тяжело болен пациент. Модель, созданная, чтобы его распознавать, выявляла лишь один реальный случай из трёх и при этом помечала как пациента высокого риска каждого пятого госпитализированного.

Медики быстро всё поняли. Сигнал тревоги постоянно срабатывает на пациентах, чьё состояние не ухудшается, и пропускает большинство тех, у кого оно ухудшается. Через несколько недель вы перестаёте ему доверять. Вы просто вынуждены перестать ему доверять. Сигнал превращается в шум. Система, купленная, чтобы ловить ухудшение, приучила всех ухудшение не замечать.

Это первая проблема: плохая математика. Никакое решение о маршрутизации её не исправит. Сломанную систему невозможно подключить так, чтобы она служила пациентам. Модель сепсиса провалила валидацию, и ничто дальше по цепочке этого не изменит.

Это был 2021 год. В этом месяце в Nature вышла статья о MIRA. Это автономный медицинский ИИ-агент, который читает истории болезни, назначает обследования, интерпретирует результаты и составляет планы лечения. На одних и тех же случаях его диагностическая точность составила 87,8% против 78,1% у сертифицированных врачей. Он следует стандартам лечения последовательнее, чем врачи, с которыми его сравнивали. Так сегодня выглядит передний край.

MIRA прошла валидацию. Математика работает. И поэтому срочным становится другой вопрос.

Одна и та же модель с одинаковыми результатами служит совершенно разным людям в зависимости от одного выбора: куда направляется прогноз.

Если результат первым получает врач, модель служит пациенту, потому что врач может на него отреагировать.

Если результат первым попадает в решение о страховом покрытии, модель служит страховщику. Пациентов высокого риска помечают для отказа ещё до того, как они заболеют, а сам пациент этого сигнала так и не увидит.

Направьте его в отдел управления койками, и модель будет служить больничной логистике, быстрее проводя пациентов через койки. Та же точность, другой хозяин. Диагноз пациенту в конце концов всё равно поставят, но решение о маршруте приняла больница, а не он.

Модель не менялась. Математика безупречна. Кому она служит, зависит от того, кто решил, куда пойдёт сигнал.

Поэтому о любой такой системе стоит спрашивать одно: кто видит результат, кто действует на его основе и кто платит, когда он ошибочен.

Для модели сепсиса этот вопрос почти не имеет значения, потому что модель сломана. Расплачиваются все. Врач или медсестра, привыкшие пропускать сигналы тревоги мимо ушей, больница, несущая юридическую ответственность, и под всем этим пациент, чьё ухудшение остаётся незамеченным, пока все игнорируют систему, которая слишком часто поднимала ложную тревогу.

В случае MIRA ответ не случаен. Кто-то решил, куда пойдёт сигнал, и построил систему так, чтобы он шёл именно туда.

И ответ должен быть конкретным. «Она служит пациентам» звучит правильно и ни к чему не обязывает. «Она служит отделу управления койками, который видит результат, недоступный пациенту» уже конкретно. Если вы не можете назвать сторону, вы на самом деле не ответили.

Если вы работаете в больнице, которая покупает эту технологию, валидировать её всё равно нужно. Клинические доказательства, проверка на предвзятость, задокументированные сценарии сбоев. Это настоящая работа, и MIRA прошла её по восьми диагнозам, тогда как модель сепсиса не прошла её вовсе.

Но валидация говорит лишь о том, работает ли ИИ или прогностическая модель. Она ничего не говорит о том, кому модель служит. Модель может пройти любую проверку, какую вы ей устроите, и всё равно быть подключена так, чтобы служить не той стороне. Безупречные доказательства и дурные стимулы спокойно уживаются в одной системе. Это разные проблемы, и решение первой никак не затрагивает вторую.

Нужно и то, и другое. Хорошая математика, а затем настоящий ответ на вопрос, кому она служит. Большинство систем так и не добиваются правильной математики. Большинство тех, что добиваются, так и не задают второго вопроса.

Универсальные LLM уже приходят прямо в больницы. Пациенты с помощью ChatGPT, Claude и прочих читают собственные анализы и решают, стоит ли идти к врачу. Больницы внедряют эти модели, так и не решив, куда должен направляться результат. Но тревожит не это.

Тревожит то, что маршрутизатором незаметно стал сам пациент. Человек смотрит на показатель в анализе, спрашивает чат-бота, что он значит, и весь этот разговор происходит вне больницы, без врача, вне любой системы, созданной, чтобы отвечать перед ним. Всё, что формирует этот ответ, решено выше по течению, теми, кто обучал модель и задавал её стимулы. Не теми, кто отвечает перед пациентом.

Когда врач перестаёт замечать сломанный сигнал тревоги, это локальный сбой: одно неудачное решение о закупке в одной больнице. Когда пациент ставит себе диагноз с помощью потребительского чат-бота, это нечто большее: клиническое суждение целиком покидает клинику и уходит в системы, которые никто в медицине не контролирует. Вопрос уже не в том, куда больница направляет сигнал. Вопрос в том, что компания, создавшая модель, сочла нужным вам сообщить.

Для всего этого не нужно понимать, как работает нейросеть. Нужно лишь задать вопрос. Кому это служит, и назвать ответ так конкретно, чтобы его можно было записать: реальную сторону, чьи интересы определили, что вам позволено видеть. ((Z))