Unerwartete Ergebnisse (Chroneme)

Unerwartete Ergebnisse diese Woche. Die meisten klinischen KI-Modelle bleiben stecken, bevor sie ein zweites Krankenhaus erreichen. Das Sepsis-Modell von Epic ist das Lehrbuchbeispiel. Es ist eines der am weitesten verbreiteten klinischen KI-Tools in den USA und läuft in Hunderten von Krankenhäusern. Es wird verkauft als Möglichkeit, Ärzte Stunden vor dem Auftreten einer Sepsis zu warnen.

2021 hat ein Team in Michigan es unabhängig getestet und die Ergebnisse in JAMA Internal Medicine veröffentlicht. Das Modell erkannte nur ein Drittel der Sepsis-Fälle, schlug bei etwa jedem fünften Krankenhausaufenthalt an und lag 13 bis 20 Punkte unter der Genauigkeit, die Epic angegeben hatte.

Das ist nicht ungewöhnlich. Das Phänomen hat einen Namen: datenbankübergreifender Kollaps. Ein Modell lernt, wie ein Standort seine Daten erfasst, und verliert seinen Vorsprung in dem Moment, in dem es einen anderen sieht.

Ich habe Chroneme auf einer anderen Prämisse aufgebaut. Ein System, das liest, wie sich ein Körper tatsächlich über die Zeit verändert, statt wie ein Krankenhaus es dokumentiert, sollte von Krankenhaus zu Krankenhaus reisen können. Und es sollte nicht auf eine einzige Erkrankung beschränkt sein. Epic sagt Sepsis vorher. Chroneme liest Verläufe, sodass dieselbe Engine jede Verschlechterung erkennt, die schwer genug ist, um Vasopressoren, Intubation oder Dialyse zu erfordern.

Ich habe es an zwei riesigen, völlig unabhängigen Intensivdatenbanken getestet. Andere Krankenhäuser, andere elektronische Patientenakten, ein anderes Jahrzehnt. Die Ergebnisse lagen weniger als einen halben Punkt auseinander. Eine so enge Übereinstimmung zwischen Datenbanken ist in der klinischen KI selten, besonders bei einem zusammengesetzten Endpunkt, der vor jeder Intervention gemessen wird. Der Kollaps ist kein Naturgesetz. Er ist eine Folge der Art, wie die meisten Modelle gebaut sind. Chroneme deutet darauf hin, dass es auch anders geht.

Ein Abstand von einem halben Punkt ist wichtig, weil er etwas aus der Gleichung streicht. Die meiste klinische KI muss an jedem neuen Standort neu validiert, neu abgestimmt und manchmal neu trainiert werden. Diese Kosten sind der Grund, warum gute Modelle stecken bleiben. Wenn ein System seine Genauigkeit über Krankenhäuser, Aktensysteme und Jahrzehnte hinweg hält, verändert die Arbeit der Einführung ihre Gestalt. Aufsichtsbehörden können es einmal bewerten. Gesundheitssysteme können darauf aufbauen, ohne es neu zu bauen. Die Obergrenze der klinischen KI war immer die Generalisierung. Chroneme deutet darauf hin, dass sich diese Grenze verschiebt.

Wenn Sie in der klinischen KI arbeiten, sagen Sie mir, wo das auseinanderfällt.

((Z))