Achados inesperados (Chroneme)

Achados inesperados nesta semana. A maioria dos modelos de IA clínica empaca antes de chegar a um segundo hospital. O modelo de sepse da Epic é o caso clássico. É uma das ferramentas de IA clínica mais implantadas nos EUA, rodando em centenas de hospitais. É vendido como uma forma de avisar os médicos horas antes de um paciente desenvolver sepse.

Em 2021, uma equipe de Michigan o testou de forma independente e publicou os resultados no JAMA Internal Medicine. O modelo detectou só um terço dos casos de sepse, sinalizou cerca de uma em cada cinco internações e perdeu de 13 a 20 pontos de acurácia em relação ao que a Epic tinha relatado.

Isso não é incomum. O fenômeno tem nome: colapso entre bases de dados. Um modelo aprende o jeito como um hospital registra seus dados e perde a vantagem no momento em que vê outro.

Construí a Chroneme sobre uma premissa diferente. Um sistema que lê como um corpo realmente muda ao longo do tempo, e não como um hospital o documenta, deveria conseguir viajar entre hospitais. E não deveria se limitar a uma condição. A Epic prevê sepse. A Chroneme lê trajetórias, então o mesmo motor sinaliza qualquer deterioração grave o bastante para exigir vasopressores, intubação ou diálise.

Eu a testei em duas bases de dados de UTI enormes e completamente independentes. Hospitais diferentes, prontuários eletrônicos diferentes, outra década. Os resultados ficaram a menos de meio ponto de distância. Uma paridade tão estreita entre bases de dados é rara na IA clínica, ainda mais para um desfecho composto medido antes de qualquer intervenção. O colapso não é uma lei da natureza. É uma propriedade de como a maioria dos modelos é construída. A Chroneme sugere que existe outro caminho.

Uma diferença de meio ponto importa pelo que ela tira da equação. A maior parte da IA clínica precisa ser revalidada, reajustada e às vezes retreinada em cada novo hospital. Esse custo é o motivo pelo qual bons modelos empacam. Se um sistema mantém a acurácia entre hospitais, prontuários eletrônicos e décadas, o trabalho de implantação muda de forma. Os reguladores podem avaliá-lo uma vez. Os sistemas de saúde podem construir sobre ele sem reconstruí-lo. O teto da IA clínica sempre foi a generalização. A Chroneme sugere que esse teto se move.

Se você trabalha com IA clínica, me diga onde isso desmorona.

((Z))