Risultati inattesi (Chroneme)

Risultati inattesi questa settimana. La maggior parte dei modelli di IA clinica si blocca prima di arrivare a un secondo ospedale. Il modello per la sepsi di Epic è il caso da manuale. È uno degli strumenti di IA clinica più diffusi negli Stati Uniti, in uso in centinaia di ospedali. Viene venduto come un modo per avvisare i medici ore prima che un paziente sviluppi la sepsi.

Nel 2021 un gruppo del Michigan lo ha testato in modo indipendente e ha pubblicato i risultati su JAMA Internal Medicine. Il modello ha individuato solo un terzo dei casi di sepsi, ha segnalato circa un ricovero su cinque e ha perso dai 13 ai 20 punti di accuratezza rispetto a quanto dichiarato da Epic.

Non è un caso isolato. Il fenomeno ha un nome: collasso tra database. Un modello impara come un centro registra i propri dati e perde il suo vantaggio nel momento in cui ne vede uno diverso.

Ho costruito Chroneme su una premessa diversa. Un sistema che legge come un corpo cambia davvero nel tempo, invece di come un ospedale lo documenta, dovrebbe poter viaggiare da un ospedale all'altro. E non dovrebbe limitarsi a una sola condizione. Epic predice la sepsi. Chroneme legge le traiettorie, quindi lo stesso motore segnala qualsiasi peggioramento abbastanza grave da richiedere vasopressori, intubazione o dialisi.

L'ho testato su due enormi database di terapia intensiva, completamente indipendenti. Ospedali diversi, cartelle elettroniche diverse, un decennio diverso. I risultati sono arrivati a meno di mezzo punto di distanza. Una parità tra database così stretta è rara nell'IA clinica, soprattutto per un esito composito misurato prima di qualsiasi intervento. Il collasso non è una legge di natura. È una proprietà del modo in cui è costruita la maggior parte dei modelli. Chroneme suggerisce che c'è un'altra strada.

Uno scarto di mezzo punto conta per ciò che toglie dall'equazione. La maggior parte dell'IA clinica deve essere rivalidata, ritarata, a volte riaddestrata in ogni nuovo centro. È quel costo il motivo per cui i buoni modelli si arenano. Se un sistema mantiene la propria accuratezza tra ospedali, cartelle elettroniche e decenni, il lavoro di implementazione cambia forma. I regolatori possono valutarlo una volta sola. I sistemi sanitari possono costruirci sopra senza doverlo ricostruire. Il tetto dell'IA clinica è sempre stato la generalizzazione. Chroneme suggerisce che quel tetto si sposta.

Se lavora nell'IA clinica, mi dica dove questo ragionamento non regge.

((Z))