ZohaibAkhtar

文章

分享

臨床 AI 為誰服務

譯自英文。 閱讀原文

幾年前,美國醫院裡部署最廣的敗血症預測模型,接受了一次獨立評估。敗血症是一般感染讓身體陷入連鎖反應,器官開始一個個衰竭。它可能在幾小時內奪走性命,常常是在還沒有人察覺病人有多嚴重的時候。這個專門用來抓敗血症的模型,只抓到三分之一的真實病例,卻把五分之一的住院病人都標成高風險。

臨床人員很快就學乖了。警示不停對沒有惡化的病人響起,真正在惡化的,卻大多沒抓到。幾週下來,你就不再相信它。你也只能不再相信它。警示成了噪音。一套買來偵測病情惡化的系統,反倒讓所有人學會對惡化視而不見。

這是第一個問題:數學錯了。結果送到哪裡都救不了它。一套壞掉的系統,你再怎麼接線,也沒辦法讓它為病人服務。這個敗血症模型在驗證階段就失敗了,後面怎麼安排都改變不了。

那是2021年。這個月,MIRA 登上了 Nature。它是一個自主運作的醫療 AI 代理,會讀病人的病史、開檢查、判讀結果、擬定治療計畫。在相同的病例上,它的診斷正確率是87.8%,專科醫師則是78.1%。和拿來比較的醫師相比,它遵循照護標準的一致性更高。眼下最前沿的樣子,就是這樣。

MIRA 通過了驗證。數學沒問題。也正因如此,另一個問題變得迫切。

同一個模型、一模一樣的輸出,服務的對象卻可能完全不同,關鍵只在一個選擇:預測送到哪裡。

如果結果先送到臨床醫師手上,它服務的是病人,因為醫師可以據此行動。

如果先送到承保決策那裡,它服務的就是保險公司。高風險病人還沒生病,就先被標成拒保對象,而病人從頭到尾都看不到這個訊號。

送到病床管理,它服務的就是醫院的調度,讓病床周轉得更快。正確率一樣,主人換了。病人最後還是會得到診斷,但訊號送去哪裡,是醫院決定的,不是病人。

模型從頭到尾沒變。數學也沒問題。它服務誰,取決於誰決定了訊號的去向。

所以,對任何一套這類系統,真正該問的是:誰看得到結果、誰根據它行動、出錯時誰來買單。

對那個敗血症模型來說,這個問題幾乎無關緊要,因為模型本身就是壞的。代價落在每個人身上。學會對警報充耳不聞的醫師或護理師、承擔法律責任的醫院,而壓在最底下的是病人:這套系統喊了太多次「狼來了」,大家早就不理它,病人的病情惡化也就沒人發現。

對 MIRA 來說,答案不是偶然。有人決定了訊號該送去哪裡,再把系統做成會送到那裡。

而且答案必須具體。「它服務病人」這種話聽起來沒錯,卻什麼都沒承諾。「它服務病床管理團隊,他們看到的結果,病人永遠看不到」才叫具體。說不出是哪一方,就等於還沒回答。

如果你所在的醫院正打算採購這項技術,你還是得驗證它。臨床證據、偏誤測試、有紀錄可查的失效模式。這些工作是實打實的,MIRA 在八種診斷上都過了關,那個敗血症模型卻一關也過不了。

但驗證只能告訴你,一個 AI 或預測模型管不管用。它為誰服務,驗證一個字也沒說。一個模型可以通過你丟給它的每一項測試,卻仍然被接去替錯的一方服務。完美的證據和糟糕的誘因,可以在同一套系統裡相安無事。這是兩個不同的問題,過了第一關,對第二關毫無影響。

兩者缺一不可。數學要對,接著要真正回答它為誰服務。大多數系統連數學都做不對。做對了的,大多也從沒問過第二個問題。

通用的大型語言模型如今正直接走進醫院。病人用 ChatGPT、Claude 和其他工具看自己的檢驗報告,判斷某個狀況值不值得跑一趟醫院。醫院部署它們時,從來沒決定過結果該送到哪裡。但這還不是最讓人不安的。

最讓人不安的是,病人已經悄悄成了決定訊號去向的人。有人看到一個檢驗數值,問聊天機器人是什麼意思,整個過程都發生在醫院之外、臨床醫師之外,也在任何為了對病人負責而建立的機制之外。那個答案長什麼樣子,早在上游就決定了,決定的是訓練模型、設定誘因的人。而不是任何需要對病人負責的人。

臨床醫師對壞掉的警報充耳不聞,是局部的失敗,是某家醫院的一次錯誤採購。病人透過消費級聊天機器人自我診斷,則是更大的事:臨床判斷整個離開了診間,搬進醫界沒有人掌控的系統裡。問題不再是醫院把訊號送到哪裡,而是打造模型的公司決定了你該知道什麼。

這一切都不需要你懂神經網路怎麼運作,只需要你開口問。它為誰服務,具體到你能把答案寫下來:真正的那一方,是他們的利益,決定了你能看到什麼。 ((Z))