临床人工智能为谁服务
译自英文。 阅读英文原文

几年前,美国医院里部署最广的脓毒症预测模型接受了一次独立评估。脓毒症,是一次普通感染让身体陷入连锁反应,器官开始接连衰竭。它几小时内就能致命,往往在谁都还没意识到病人有多危重的时候。这个专为发现脓毒症而开发的模型,只发现了三分之一的真实病例,却把每五个住院患者中的一个标成了高风险。
临床医生很快就摸清了门道。病情没在恶化的患者,警报响个不停;真正在恶化的,它大多漏掉。几周之后,你就不再信它了。你只能不再信它。警报沦为噪音。一套花钱买来发现病情恶化的系统,反倒把所有人都训练得对病情恶化视而不见。
这是第一个问题:数学不过关。信号送到哪里都救不了它。一个坏掉的系统,怎么接线也不可能为患者服务。这个脓毒症模型在验证阶段就没过关,下游怎么做都改变不了。
那是 2021 年的事。这个月,MIRA 登上了 Nature。这是一个自主运行的医疗 AI 智能体,能读病史、开检查、解读结果、写治疗方案。在同样的病例上,它的诊断准确率达到 87.8%,通过专科委员会认证的医生则是 78.1%。和作为对照的医生相比,它遵循诊疗规范更为一致。这就是当下的前沿。
MIRA 通过了验证。数学站得住。于是,另一个问题变得紧迫起来。
同一个模型,输出一模一样,服务的对象却可能截然不同,只取决于一个选择:预测送往哪里。
输出先到临床医生手里,它服务的就是患者,因为医生可以据此采取行动。
先到承保决策那里,它服务的就是保险公司。高风险患者还没生病,就被标成了拒保对象,而患者自始至终看不到这个信号。
接到床位管理,它服务的就是医院的运营,让病床周转得更快。准确率一样,主人不同。患者最终还是会得到诊断,但信号往哪里送,是医院定的,不是患者。
模型从没变过。数学没有问题。它为谁服务,归根结底取决于谁决定了信号的去向。
所以,对任何这类系统,真正该问的是:谁看到输出,谁据此行动,出了错谁来买单。
对那个脓毒症模型来说,这个问题几乎无关紧要,因为模型本身就是坏的。代价落在每个人身上:学会对警报充耳不闻的医生或护士,承担法律责任的医院,而压在这一切最底下的是患者。一个系统“狼来了”喊了太多次,人人都不再理会,患者的病情恶化也就无人察觉。
对 MIRA 来说,答案不是偶然得来的。有人决定了信号该去哪里,也专门把系统搭成了这样。
而且答案必须具体。“它服务于患者”这种话,听起来没错,却什么也没承诺。“它服务于床位管理团队,他们看到的输出,患者永远看不到”,这才叫具体。说不出到底是哪一方,就等于没有回答。
如果你在一家正准备采购这项技术的医院工作,验证照样少不了:临床证据、偏倚测试、有据可查的失效模式。这些工作实实在在,MIRA 在八种诊断上都过了关,而那个脓毒症模型一关也没过去。
但验证只能告诉你,一个 AI 或预测模型管不管用。它为谁服务,验证一个字也不会告诉你。一个模型可以通过你能想到的每一项测试,却依然被接到了错误的一方那里。完美的证据和糟糕的激励,完全可以在同一个系统里相安无事。这是两个不同的问题,过了第一关,第二关依然原封未动。
两样都得有。先把数学做对,再真正回答它为谁服务。大多数系统,数学从来就没做对。做对了的那些,大多也从没问过第二个问题。
通用大语言模型正在直接进入医院。患者用 ChatGPT、Claude 之类的工具看自己的化验单,判断要不要去一趟医院。医院部署了这些模型,却从没想好输出该送到哪里。这还不是最让人不安的。
最让人不安的是,患者已经悄悄成了那个“路由器”。有人看到一项化验数值,问聊天机器人是什么意思,整个过程发生在任何医院、任何临床医生、任何对患者负责的机制之外。左右这个答案的一切,早在上游就定好了,定下它的是训练模型、设定激励的人。而不是任何需要向患者交代的人。
临床医生对一个坏掉的警报充耳不闻,是局部的失败,不过是一家医院的一次采购失误。患者靠面向消费者的聊天机器人给自己看病,则是更大的事:临床判断彻底走出了诊室,进入了医学界无人掌控的系统。问题已经不是医院把信号送到哪里了。而是开发模型的那家公司,决定了你该知道什么。
这一切都不需要你懂神经网络的原理。只需要你把问题问出来。它为谁服务,要具体到能写下来:究竟是哪一方的利益,决定了你被允许看到什么。 ((Z))