Temuan tak terduga (Chroneme)

Temuan tak terduga minggu ini. Sebagian besar model AI klinis terhenti sebelum mencapai rumah sakit kedua. Model sepsis Epic adalah contoh klasiknya. Model ini salah satu perangkat AI klinis yang paling luas digunakan di Amerika Serikat, berjalan di ratusan rumah sakit. Model ini dijual sebagai cara untuk memperingatkan dokter berjam-jam sebelum seorang pasien mengalami sepsis.

Pada 2021, sebuah tim di Michigan mengujinya secara independen dan menerbitkan hasilnya di JAMA Internal Medicine. Model itu hanya menangkap sepertiga kasus sepsis, menandai kira-kira satu dari lima rawat inap, dan akurasinya turun 13 hingga 20 poin dibandingkan angka yang dilaporkan Epic.

Ini bukan hal yang aneh. Fenomena ini punya nama: keruntuhan lintas basis data. Sebuah model mempelajari cara satu institusi mencatat datanya dan kehilangan keunggulannya begitu bertemu cara yang berbeda.

Saya membangun Chroneme di atas premis yang berbeda. Sistem yang membaca bagaimana tubuh benar-benar berubah dari waktu ke waktu, bukan bagaimana rumah sakit mendokumentasikannya, seharusnya bisa berpindah dari satu rumah sakit ke rumah sakit lain. Dan sistem itu tidak seharusnya terbatas pada satu kondisi. Epic memprediksi sepsis. Chroneme membaca lintasan, sehingga mesin yang sama menandai perburukan apa pun yang cukup berat hingga membutuhkan vasopresor, intubasi, atau dialisis.

Saya mengujinya pada dua basis data ICU yang sangat besar dan sepenuhnya independen. Rumah sakit berbeda, sistem rekam medis elektronik berbeda, dekade berbeda. Hasilnya terpaut kurang dari setengah poin. Kesetaraan lintas basis data seketat ini jarang terjadi dalam AI klinis, terutama untuk luaran gabungan yang diukur sebelum intervensi apa pun. Keruntuhan itu bukan hukum alam. Keruntuhan itu adalah sifat dari cara sebagian besar model dibangun. Chroneme mengisyaratkan bahwa ada cara lain.

Selisih setengah poin itu penting karena apa yang dihilangkannya dari persamaan. Sebagian besar AI klinis harus divalidasi ulang, disetel ulang, kadang dilatih ulang di setiap lokasi baru. Biaya itulah yang membuat model yang bagus terhenti. Jika sebuah sistem mempertahankan akurasinya lintas rumah sakit, sistem rekam medis elektronik, dan dekade, bentuk pekerjaan penerapannya berubah. Regulator bisa mengevaluasinya sekali saja. Sistem kesehatan bisa membangun di atasnya tanpa membangunnya ulang. Batas atas AI klinis selama ini selalu generalisasi. Chroneme mengisyaratkan bahwa batas itu bisa bergeser.

Jika Anda bekerja di bidang AI klinis, tunjukkan kepada saya di mana letak kelemahannya.

((Z))