Gatesのインタビューで、誰も答えていない部分
英語からの翻訳です。 原文を読む

Bill GatesがAIについて考えを改めたと語るインタビューを見ました。大半は予想どおりの内容です。能力の向上は、彼の想定より早く訪れました。バイオテロ、サイバー、雇用。けれども、ある一つの不満が何度も繰り返され、それが恐ろしい部分よりも長く心に残りました。今あるのは基準のない自主的な審査だけだ、と彼は繰り返し言います。企業は自分の宿題を自分で採点していて、そもそも試験がどうあるべきかを書き留めた人は誰もいない、と。
彼はそれを、ほとんど挑戦状のように口にします。それを見ながら、ずっと考えていました。その試験がどんなものか、自分は実際に知っている、と。すべてについてではありません。医療について、私が訓練を受けた分野についてです。
病院には、誰も立ち止まって考えない不思議なところがあります。一度も訪れたことのない街の病院に入り、まったくの他人に自分の命を預けても、それが普通のことに感じられる。なぜでしょうか。その人たちの誰も、賢そうに見えるから信頼されているわけではありません。一人残らず、ある連鎖を通ってきたのです。試験、研修、すべての指示の理由を声に出して説明させた指導医、自分のミスが同僚の前で徹底的に検証されるカンファレンス。医療は、ゆっくりと、多大な害を経てようやく、有能そうに見えることは基準ではないと学びました。その代わりに説明責任を基準にし、信頼はその結果として生まれたのです。
だから、基準とはどんなものかとGatesが問うとき、その答えを無から発明する必要はないと私は思います。少なくとも医療では、借りてくることができます。
考えうる最も単純な試験から始めましょう。あるシステムが患者に起きることに影響を与えるのなら、同じ質問を二度してみます。答えが食い違ったら、その時点で失格です。ばかばかしいほど低いハードルに聞こえるでしょう。今日の医療AIの大半は、それを越えられません。
次に、指導医がそうするように、なぜかを問います。もっともらしく聞こえる一段落ではなく、実際の根拠を。どの値か、どの閾値か、どんなエビデンスか。推論を検証できなければ、それに異を唱えることもできず、異を唱えられないものに、患者のそばにいる資格はありません。
それから誤り率です。それも、誰か別の人が、そのシステムが一度も見たことのないデータで測ったものです。これは医薬品承認の本能そのものです。メーカーの言葉を鵜呑みにする人はいませんし、今からそうし始めるべきでもありません。
そして、システムが何か新しいことを学んだとき(こうしたシステムは学び続けます。それこそが存在意義なのですから)、その新しい振る舞いは、すぐには使われません。裏で動いて自分ならどうしたかを記録し、それを本番に上げるかどうかは人間が決めます。医療はすでに、自らにこれを課しています。有望な結果は臨床試験を待ち、臨床試験はガイドラインを待ちます。時間はかかります。けれど、だからこそ家の薬箱の薬で命を落とさずにすんでいるのです。
決まって返ってくる反論は、イノベーションです。いつもそうです。けれど私は、その反論は二つの異なる仕事を一つにぼかしていると思います。誰も体系化していないパターンを探して1000万件の記録を調べるAIは、思う存分暴れさせてよいはずです。ほとんどの場合に間違うことこそ、仮説の役目だからです。手綱が必要なのは、目の前のたった一人の患者に対して行動するAIのほうです。二つの仕事、異なるルール、そしてそのあいだには、審査を経て初めて開く扉。Gatesも、危険な分子を設計しうるモデルの監視について、ほぼ同じことを言っています。業界にとってのコストは、ほとんどゼロでしょう。それなのに、なぜかいまだに行われていません。
ここで、自分の守備範囲ははっきりさせておきたいと思います。サイバー兵器やバイオセキュリティについて同等のリストがどうなるのか、私にはまったくわかりません。私の分野ではありませんし、あらゆる領域に一度に通じている人を、私は疑うようになりました。ただ、気になるのは、Gatesが「基準」という言葉を口にすると、誰もが重々しくうなずき、誰も何も書き留めないということです。私のいる世界の片隅では、そのリストは書けます。その大半は、上に、およそ400語で書いてあります。
それから、念のため言っておくと、私はこのテクノロジーを恐れてこれを書いているのではありません。毎日これを使ってものを作っていますし、医療が間に合わなかったときに何が起きるか、それがこの仕事を始めた理由です。その代償を、私は知っています。だからこそ、基準が重要なのです。AIが病院や規制当局や裁判所の管理する場で、大規模に、実際に人々を助けられるようになるための最短の道は、説明責任を果たすとはどういうことかを、誰かが公の場で、検証できる形で示すことです。医療はそのプレイブックを、およそ1世紀前に書きました。あとは誰かがそれを手に取るだけです。
出典:The Atlanticのインタビュー。 ((Z))