Klinik yapay zeka kime hizmet ediyor

Birkaç yıl önce Amerikan hastanelerinde en yaygın kullanılan sepsis tahmin modeli bağımsız olarak değerlendirildi. Sepsis, sıradan bir enfeksiyonun vücudu, organları durdurmaya başlayan bir zincirleme tepkiye sürüklemesidir. Saatler içinde, çoğu zaman kimse hastanın ne kadar ağır olduğunu fark etmeden öldürebilir. Onu yakalamak için geliştirilen model gerçek vakaların yalnızca üçte birini yakaladı ve hastanede yatan her beş hastadan birini yüksek riskli olarak işaretledi.

Klinisyenler çabuk öğrendi. Alarm, kötüleşmeyen hastalarda durmadan çalıyor, kötüleşenlerin çoğunu ise kaçırıyor. Birkaç hafta sonra ona güvenmeyi bırakıyorsunuz. Ona güvenmeyi bırakmak zorundasınız. Alarm gürültüye dönüşüyor. Kötüleşmeyi yakalamak için satın alınan bir sistem, herkese kötüleşmeyi görmezden gelmeyi öğretmişti.

İlk sorun bu: kötü matematik. Hiçbir yönlendirme kararı bunu düzeltemez. Bozuk bir sistemi hastalara hizmet edecek şekilde bağlayamazsınız. Sepsis modeli doğrulamada başarısız oldu ve zincirin devamında yapılacak hiçbir şey bunu değiştirmez.

Bu 2021'deydi. Bu ay MIRA, Nature dergisinde yayımlandı. Hasta öykülerini okuyan, tetkik isteyen, sonuçları yorumlayan ve tedavi planları yazan otonom bir tıbbi yapay zeka ajanı. Aynı vakalarda, sertifikalı uzman hekimlerin %78,1'ine karşı %87,8 tanısal doğruluğa ulaştı. Bakım standardına, karşılaştırıldığı hekimlerden daha tutarlı biçimde uyuyor. Bugün ulaşılan en ileri nokta böyle görünüyor.

MIRA doğrulamayı geçti. Matematik çalışıyor. Bu da başka bir soruyu acil hâle getiriyor.

Aynı model, birebir aynı çıktılarla, tek bir seçime bağlı olarak bambaşka insanlara hizmet ediyor: tahminin nereye gittiği.

Çıktı önce bir klinisyene ulaşırsa hastaya hizmet eder, çünkü klinisyen ona göre harekete geçebilir.

Önce bir sigorta kapsamı kararına ulaşırsa sigortacıya hizmet eder. Yüksek riskli hastalar daha hastalanmadan reddedilmek üzere işaretlenir ve hasta bu sinyali hiç görmez.

Yatak yönetimine yönlendirin, bu kez hastanenin lojistiğine hizmet eder ve hastaların yatak devrini hızlandırır. Aynı doğruluk, farklı efendi. Hasta yine de eninde sonunda tanı alır, ama yönlendirme kararını o değil, hastane vermiştir.

Model hiç değişmedi. Matematik sağlam. Kime hizmet ettiği, sinyalin nereye gideceğine kimin karar verdiğine bağlı.

Bu yüzden bu sistemlerin herhangi biri için sorulmaya değer soru şu: çıktıyı kim görüyor, ona göre kim harekete geçiyor ve yanlış olduğunda bedeli kim ödüyor.

Sepsis modeli için bu soru neredeyse konu dışı, çünkü model bozuk. Bedel her yere düşüyor. Alarmları kulak ardı etmeyi öğrenen doktor ya da hemşire, hukuki sorumluluğu taşıyan hastane ve tüm bunların altında, herkes yalancı çobana dönmüş bir sistemi görmezden gelirken kötüleşmesi fark edilmeyen hasta.

MIRA için cevap bir tesadüf değil. Biri sinyalin nereye gideceğine karar verdi ve sistemi onu oraya gönderecek şekilde kurdu.

Ve cevap somut olmak zorunda. “Hastalara hizmet ediyor” kulağa doğru gelen ama hiçbir şeyi taahhüt etmeyen türden bir söz. “Hastanın asla görmeyeceği bir çıktıyı gören yatak yönetimi ekibine hizmet ediyor” ise somut. Tarafın adını koyamıyorsanız, aslında cevap vermemişsinizdir.

Bu teknolojiyi satın alan bir hastanede çalışıyorsanız, onu yine de doğrulamanız gerekir. Klinik kanıt, yanlılık testleri, belgelenmiş hata biçimleri. Bu gerçek bir iş ve MIRA, sepsis modelinin hiç geçemediği bu aşamayı sekiz tanıda geçti.

Ama doğrulama size yalnızca bir yapay zekanın ya da tahmin modelinin çalışıp çalışmadığını söyler. Kime hizmet ettiği hakkında hiçbir şey söylemez. Bir model, karşısına koyduğunuz her testi geçip yine de yanlış tarafa hizmet edecek şekilde bağlanmış olabilir. Kusursuz kanıt ve kötü teşvikler aynı sistemde gayet rahat bir arada yaşar. Bunlar farklı sorunlardır ve birincisini aşmak ikincisine dokunmaz.

İkisine de ihtiyacınız var. İyi matematik, ardından kime hizmet ettiğine gerçek bir cevap. Çoğu sistem matematiği hiçbir zaman tutturamaz. Tutturanların çoğu da ikinci soruyu hiç sormaz.

Genel amaçlı büyük dil modelleri artık doğrudan hastanelere giriyor. Hastalar kendi tahlil sonuçlarını okumak ve bir şikâyetin doktora gitmeye değip değmediğine karar vermek için ChatGPT, Claude ve benzerlerini kullanıyor. Hastaneler, çıktının nereye gitmesi gerektiğine hiç karar vermeden bunları devreye alıyor. Asıl rahatsız edici olan bu değil.

Rahatsız edici olan, hastanın sessizce yönlendiriciye dönüşmüş olması. Biri bir tahlil değerini okuyor, bir sohbet botuna ne anlama geldiğini soruyor ve bütün bu alışveriş herhangi bir hastanenin, herhangi bir klinisyenin, ona hesap vermek üzere kurulmuş herhangi bir çerçevenin dışında gerçekleşiyor. O cevabı biçimlendiren her ne ise, zincirin başında, modeli eğiten ve teşviklerini belirleyen kişi tarafından kararlaştırıldı. Hastaya hesap veren biri tarafından değil.

Bozuk bir alarmı kulak ardı eden bir klinisyen yerel bir başarısızlıktır, tek bir hastanedeki tek bir kötü satın alma kararı. Tüketicilere yönelik bir sohbet botuyla kendi kendine tanı koyan bir hasta ise daha büyük bir şey: klinik muhakemenin kliniği tamamen terk etmesi, tıpta kimsenin kontrol etmediği sistemlere taşınması. Soru artık hastanenin sinyali nereye gönderdiği değil. Asıl soru, modeli yapan şirketin neleri bilmenizi uygun gördüğü.

Bunların hiçbiri bir sinir ağının nasıl çalıştığını anlamayı gerektirmiyor. Yalnızca soruyu sormayı gerektiriyor. Bu kime hizmet ediyor, hem de yazıya dökebileceğiniz kadar somut biçimde: görmenize izin verilen şeyi kendi çıkarları doğrultusunda biçimlendiren gerçek taraf. ((Z))