Nieoczekiwane odkrycia (Chroneme)

Nieoczekiwane odkrycia w tym tygodniu. Większość modeli klinicznej AI utyka, zanim trafi do drugiego szpitala. Model Epic do wykrywania sepsy to podręcznikowy przykład. To jedno z najszerzej wdrożonych narzędzi klinicznej AI w USA, działające w setkach szpitali. Sprzedaje się je jako sposób na ostrzeganie lekarzy z kilkugodzinnym wyprzedzeniem, zanim u pacjenta rozwinie się sepsa.

W 2021 roku zespół z Michigan niezależnie je przetestował i opublikował wyniki w JAMA Internal Medicine. Model wychwycił tylko jedną trzecią przypadków sepsy, oznaczył mniej więcej co piąty pobyt w szpitalu, a jego trafność była o 13 do 20 punktów niższa od tej, którą raportował Epic.

To nic niezwykłego. Zjawisko ma swoją nazwę: załamanie między bazami danych. Model uczy się, jak jedno miejsce zapisuje dane, i traci przewagę w chwili, gdy zobaczy inne.

Zbudowałem Chroneme na innym założeniu. System, który odczytuje, jak ciało rzeczywiście zmienia się w czasie, a nie jak szpital to dokumentuje, powinien móc przenosić się między szpitalami. I nie powinien ograniczać się do jednej choroby. Epic przewiduje sepsę. Chroneme odczytuje trajektorie, więc ten sam silnik sygnalizuje każde pogorszenie na tyle poważne, że wymaga leków wazopresyjnych, intubacji albo dializy.

Przetestowałem go na dwóch ogromnych, całkowicie niezależnych bazach danych z oddziałów intensywnej terapii. Inne szpitale, inne systemy dokumentacji elektronicznej, inna dekada. Wyniki różniły się o mniej niż pół punktu. Tak ścisła zgodność między bazami danych to w klinicznej AI rzadkość, zwłaszcza w przypadku złożonego punktu końcowego mierzonego przed jakąkolwiek interwencją. Załamanie nie jest prawem natury. To cecha tego, jak buduje się większość modeli. Chroneme sugeruje, że jest inna droga.

Różnica pół punktu ma znaczenie ze względu na to, co usuwa z równania. Większość klinicznej AI trzeba w każdym nowym miejscu ponownie walidować, ponownie dostrajać, czasem ponownie trenować. To właśnie ten koszt sprawia, że dobre modele utykają. Jeśli system utrzymuje trafność w różnych szpitalach, systemach dokumentacji i dekadach, praca nad wdrożeniem zmienia kształt. Regulatorzy mogą ocenić go raz. Systemy ochrony zdrowia mogą na nim budować bez budowania go od nowa. Sufitem dla klinicznej AI zawsze była zdolność uogólniania. Chroneme sugeruje, że ten sufit się przesuwa.

Jeśli zajmujecie się kliniczną AI, powiedzcie mi, w którym miejscu to się sypie.

((Z))