Beklenmedik bulgular (Chroneme)

Bu hafta beklenmedik bulgular. Klinik yapay zeka modellerinin çoğu ikinci bir hastaneye ulaşmadan tıkanıp kalıyor. Epic'in sepsis modeli bunun ders kitabı örneği. ABD'de en yaygın kullanılan klinik yapay zeka araçlarından biri ve yüzlerce hastanede çalışıyor. Doktorları, bir hasta sepsise girmeden saatler önce uyarmanın bir yolu olarak satılıyor.

2021'de Michigan'dan bir ekip modeli bağımsız olarak test etti ve sonuçları JAMA Internal Medicine dergisinde yayımladı. Model sepsis vakalarının yalnızca üçte birini yakaladı, hastane yatışlarının kabaca beşte birini işaretledi ve doğruluğu Epic'in bildirdiğine kıyasla 13 ila 20 puan düştü.

Bu alışılmadık bir durum değil. Bu olgunun bir adı var: veritabanları arası çöküş. Bir model, bir kurumun verisini nasıl kaydettiğini öğreniyor ve farklı bir kurumunkini gördüğü anda üstünlüğünü yitiriyor.

Chroneme'yi farklı bir öncül üzerine kurdum. Bir hastanenin bedeni nasıl belgelediğini değil, bedenin zaman içinde gerçekte nasıl değiştiğini okuyan bir sistem, hastaneler arasında yolculuk edebilmeli. Ve tek bir hastalıkla sınırlı kalmamalı. Epic sepsisi tahmin ediyor. Chroneme gidişatları okuyor; böylece aynı motor, vazopressör, entübasyon ya da diyaliz gerektirecek kadar ağır her türlü kötüleşmeyi işaretliyor.

Onu birbirinden tamamen bağımsız iki dev yoğun bakım veritabanında test ettim. Farklı hastaneler, farklı elektronik sağlık kaydı sistemleri, farklı bir on yıl. Sonuçlar arasında yarım puandan az fark çıktı. Bu kadar sıkı bir veritabanları arası denklik klinik yapay zekada nadirdir, özellikle de herhangi bir müdahaleden önce ölçülen bileşik bir sonlanım için. Çöküş bir doğa yasası değil. Çoğu modelin nasıl kurulduğunun bir özelliği. Chroneme başka bir yolun mümkün olduğuna işaret ediyor.

Yarım puanlık bir fark, denklemden çıkardığı şey yüzünden önemli. Klinik yapay zekanın çoğu her yeni kurumda yeniden doğrulanmak, yeniden ayarlanmak, bazen de yeniden eğitilmek zorunda. İyi modellerin tıkanıp kalmasının nedeni bu maliyet. Bir sistem doğruluğunu hastaneler, kayıt sistemleri ve on yıllar boyunca koruyorsa, yaygınlaştırma işinin biçimi değişir. Düzenleyiciler onu bir kez değerlendirebilir. Sağlık sistemleri onu baştan kurmadan üzerine inşa edebilir. Klinik yapay zekanın tavanı her zaman genellenebilirlik oldu. Chroneme bu tavanın yükselebileceğine işaret ediyor.

Klinik yapay zeka alanında çalışıyorsanız, bunun nerede tutmadığını bana söyleyin.

((Z))