Hallazgos inesperados (Chroneme)

Hallazgos inesperados esta semana. La mayoría de los modelos de IA clínica se estancan antes de llegar a un segundo hospital. El modelo de sepsis de Epic es el ejemplo de manual. Es una de las herramientas de IA clínica más implantadas en Estados Unidos, en funcionamiento en cientos de hospitales. Se vende como una forma de avisar a los médicos horas antes de que un paciente desarrolle una sepsis.

En 2021, un equipo de Michigan lo puso a prueba de forma independiente y publicó los resultados en JAMA Internal Medicine. El modelo solo detectó un tercio de los casos de sepsis, marcó aproximadamente una de cada cinco hospitalizaciones y perdió entre 13 y 20 puntos de precisión respecto a lo que Epic había comunicado.

No es algo inusual. El fenómeno tiene nombre: colapso entre bases de datos. Un modelo aprende cómo registra sus datos un centro y pierde su ventaja en cuanto ve otro.

Construí Chroneme sobre otra premisa. Un sistema que lee cómo cambia realmente un cuerpo con el tiempo, y no cómo lo documenta un hospital, debería poder viajar entre hospitales. Y no debería limitarse a una sola enfermedad. Epic predice la sepsis. Chroneme lee trayectorias, así que el mismo motor detecta cualquier deterioro lo bastante grave como para requerir vasopresores, intubación o diálisis.

Lo probé en dos bases de datos de UCI enormes y completamente independientes. Hospitales distintos, historias clínicas electrónicas distintas, una década distinta. Los resultados quedaron a menos de medio punto de distancia. Una paridad entre bases de datos tan ajustada es rara en la IA clínica, sobre todo con un desenlace compuesto medido antes de cualquier intervención. El colapso no es una ley de la naturaleza. Es una consecuencia de cómo se construye la mayoría de los modelos. Chroneme sugiere que hay otro camino.

Una diferencia de medio punto importa por lo que elimina de la ecuación. La mayor parte de la IA clínica tiene que volver a validarse, reajustarse y a veces reentrenarse en cada nuevo centro. Ese esfuerzo es la razón por la que los buenos modelos se estancan. Si un sistema mantiene su precisión entre hospitales, historias clínicas electrónicas y décadas, el trabajo de implantación cambia de forma. Los reguladores pueden evaluarlo una sola vez. Los sistemas de salud pueden construir sobre él sin tener que reconstruirlo. El techo de la IA clínica siempre ha sido la generalización. Chroneme sugiere que ese techo se mueve.

Si trabaja en IA clínica, dígame dónde falla esto.

((Z))