Gatesのインタビューで、誰も答えていない部分

Bill GatesがAIについて考えを改めたと語るインタビューを見ました。大半は予想どおりの内容です。能力の向上は、彼の想定より早く訪れました。バイオテロ、サイバー、雇用。けれども、ある一つの不満が何度も繰り返され、それが恐ろしい部分よりも長く心に残りました。今あるのは基準のない自主的な審査だけだ、と彼は繰り返し言います。企業は自分の宿題を自分で採点していて、そもそも試験がどうあるべきかを書き留めた人は誰もいない、と。

彼はそれを、ほとんど挑戦状のように口にします。それを見ながら、私はずっと考えていました。その試験がどんなものか、私は実際に知っている、と。すべてについてではありません。医療について、私が訓練を受けた分野についてです。

病院には、誰も立ち止まって気づかない奇妙なところがあります。一度も訪れたことのない街の病院に入り、まったくの他人に自分の命を預けても、それが普通のことに感じられる。なぜでしょうか。その人たちの誰も、賢そうに見えるから信頼されているわけではありません。一人残らず、ある連鎖を通ってきたのです。試験、研修、すべての指示の理由を声に出して説明させた指導医、自分のミスが同僚の前で徹底的に検証されるカンファレンス。医療は、ゆっくりと、多大な害を経てようやく、有能そうに見えることは基準ではないと学びました。その代わりに説明責任を基準にし、信頼はその結果として生まれたのです。

だから、基準とはどんなものかとGatesが問うとき、その答えを無から発明する必要はないと私は思います。少なくとも医療では、借りてくることができます。

考えうる最も単純な試験から始めましょう。あるシステムが患者に起きることに影響を与えるのなら、同じ質問を二度してみます。二つの異なる答えが返ってきたら、それだけで話は終わりにすべきです。ばかばかしいほど低いハードルに聞こえるでしょう。今日の医療AIの大半は、それを越えられません。

次に、指導医がそうするように、なぜかを問います。もっともらしく聞こえる一段落ではなく、実際の根拠を。どの値か、どの閾値か、どんなエビデンスか。推論を検証できなければ、それに異を唱えることもできず、異を唱えられないものに、患者のそばにいる資格はありません。

それから誤り率です。それも、誰か別の人が、そのシステムが一度も見たことのないデータで測ったものです。これは医薬品承認の本能そのものです。メーカーの言葉を鵜呑みにする人はいませんし、今からそうし始めるべきでもありません。

そして、システムが何か新しいことを学んだとき（こうしたシステムは学び続けます。それこそが存在意義なのですから）、その新しい振る舞いは待たされます。表には出ずに動き、自分ならどうしたかを記録し、それを本番に上げるかどうかは人間が決めます。医療はすでに、自らにこれを課しています。有望な結果は臨床試験を待ち、臨床試験はガイドラインを待ちます。時間はかかります。けれど、それはあなたの薬箱があなたを殺さない理由でもあるのです。

反論はいつもイノベーションです。いつもそうです。けれど私は、その反論は二つの異なる仕事を一つにぼかしていると思います。誰も体系化していないパターンを探して1000万件の記録を調べるAIは、思う存分暴れさせてよいはずです。ほとんどの場合に間違うことこそ、仮説の役目だからです。手綱が必要なのは、目の前のたった一人の患者に対して行動するAIのほうです。二つの仕事、異なるルール、そしてそのあいだには、審査を経て初めて開く扉。Gatesも、危険な分子を設計しうるモデルの監視について、ほぼ同じことを言っています。業界にとってのコストは、ほとんどゼロでしょう。それなのに、なぜかいまだに行われていません。

ここでは、自分の守備範囲について慎重でありたいと思います。サイバー兵器やバイオセキュリティについて同等のリストがどうなるのか、私にはまったくわかりません。私の分野ではありませんし、あらゆる領域に一度に通じている人を、私は疑うようになりました。けれども気づくのは、Gatesが「基準」という言葉を口にすると、誰もが重々しくうなずき、誰も何も書き留めないということです。私のいる世界の片隅では、そのリストは書けます。その大半は、上に、およそ400語で書いてあります。

それから、念のため言っておくと、私はこのテクノロジーを恐れる者としてこれを書いているのではありません。毎日それを使ってものを作っていますし、医療が間に合わなかったときに何が起きるか、それがこの仕事を始めた理由です。その代償を、私は知っています。だからこそ、基準が重要なのです。AIが実際に人々を、大規模に、病院と規制当局と裁判所が管理する場で助けられるようになる最速の道は、説明責任を果たすとはどういうことかを、誰かが公の場で、検証できる形で示すことです。医療はそのプレイブックを、およそ1世紀前に書きました。あとは誰かがそれを手に取るだけです。

出典：The Atlanticのインタビュー。 ((Z))