Неожиданные результаты (Chroneme)

Неожиданные результаты этой недели. Большинство моделей клинического ИИ застревают, не дойдя до второй больницы. Хрестоматийный пример: модель сепсиса от Epic. Это один из самых распространённых инструментов клинического ИИ в США, он работает в сотнях больниц. Его продают как способ предупредить врачей за несколько часов до того, как у пациента разовьётся сепсис.

В 2021 году команда из Мичигана независимо проверила эту модель и опубликовала результаты в JAMA Internal Medicine. Модель выявляла лишь треть случаев сепсиса, срабатывала примерно на каждую пятую госпитализацию и теряла от 13 до 20 пунктов точности по сравнению с тем, что сообщала Epic.

В этом нет ничего необычного. У явления даже есть название: коллапс при переносе между базами данных. Модель усваивает, как данные записывает одна больница, и теряет своё преимущество, как только видит другую.

Я построил Chroneme на другой предпосылке. Система, которая читает, как тело на самом деле меняется со временем, а не то, как больница это документирует, должна уметь переходить из больницы в больницу. И она не должна ограничиваться одним заболеванием. Epic прогнозирует сепсис. Chroneme читает траектории, поэтому один и тот же движок отмечает любое ухудшение, достаточно тяжёлое, чтобы потребовались вазопрессоры, интубация или диализ.

Я проверил его на двух огромных, полностью независимых базах данных отделений интенсивной терапии. Разные больницы, разные системы электронных медкарт, разные десятилетия. Результаты разошлись меньше чем на полпункта. Такое близкое совпадение между базами данных в клиническом ИИ встречается редко, особенно для составного исхода, измеренного до любого вмешательства. Коллапс вовсе не закон природы. Это свойство того, как строится большинство моделей. Chroneme говорит о том, что есть другой путь.

Разрыв в полпункта важен тем, что он убирает из уравнения. Большую часть клинического ИИ приходится заново валидировать, заново настраивать, а иногда и заново обучать в каждой новой больнице. Именно из-за этих затрат хорошие модели застревают. Если система сохраняет точность при переходе между больницами, системами медкарт и десятилетиями, работа по внедрению меняет форму. Регуляторы могут оценить её один раз. Системы здравоохранения могут строить на ней, не перестраивая её. Потолком клинического ИИ всегда было обобщение. Chroneme говорит о том, что этот потолок сдвигается.

Если вы работаете в клиническом ИИ, скажите мне, где это рассыпается.

((Z))