Uventede fund (Chroneme)

Uventede fund i denne uge. De fleste kliniske AI-modeller går i stå, før de når et andet hospital. Epics sepsismodel er skoleeksemplet. Det er et af de mest udbredte kliniske AI-værktøjer i USA og kører på hundredvis af hospitaler. Det sælges som en måde at advare læger på, timer før en patient udvikler sepsis.

I 2021 testede et hold fra Michigan den uafhængigt og offentliggjorde resultaterne i JAMA Internal Medicine. Modellen fangede kun en tredjedel af sepsistilfældene, markerede omtrent hvert femte hospitalsophold og tabte 13 til 20 point i nøjagtighed sammenlignet med det, Epic havde rapporteret.

Det er ikke usædvanligt. Fænomenet har et navn: kollaps på tværs af databaser. En model lærer, hvordan ét sted registrerer sine data, og mister sin skarphed i det øjeblik, den ser et andet.

Jeg byggede Chroneme på en anden præmis. Et system, der læser, hvordan en krop faktisk ændrer sig over tid, snarere end hvordan et hospital dokumenterer det, burde kunne flytte mellem hospitaler. Og det burde ikke være begrænset til én sygdom. Epic forudsiger sepsis. Chroneme læser forløb, så den samme motor markerer enhver forværring, der er alvorlig nok til at kræve vasopressorer, intubation eller dialyse.

Jeg testede det på to massive, helt uafhængige intensivdatabaser. Forskellige hospitaler, forskellige EPJ-systemer, et andet årti. Resultaterne lå mindre end et halvt point fra hinanden. Så tæt overensstemmelse på tværs af databaser er sjælden i klinisk AI, især for et sammensat udfald, der måles før enhver intervention. Kollapset er ikke en naturlov. Det er en egenskab ved den måde, de fleste modeller er bygget på. Chroneme tyder på, at der er en anden vej.

En forskel på et halvt point betyder noget på grund af det, den fjerner fra ligningen. Det meste kliniske AI skal valideres igen, justeres igen og nogle gange trænes forfra på hvert nyt sted. Den omkostning er grunden til, at gode modeller går i stå. Hvis et system holder sin nøjagtighed på tværs af hospitaler, EPJ-systemer og årtier, ændrer arbejdet med at udrulle det form. Myndighederne kan vurdere det én gang. Sundhedssystemer kan bygge videre på det uden at bygge det om. Loftet for klinisk AI har altid været generalisering. Chroneme tyder på, at loftet flytter sig.

Hvis du arbejder med klinisk AI, så fortæl mig, hvor det her ikke holder.

((Z))