Часть интервью Гейтса, на которую никто не отвечает
Переведено с английского. Читать оригинал

Я посмотрел интервью, в котором Билл Гейтс говорит, что изменил своё мнение об ИИ. В основном ничего неожиданного. Возможности появились быстрее, чем он думал. Биотерроризм, киберугрозы, рабочие места. Но одна претензия возвращалась снова и снова, и она не отпускала меня дольше, чем всё пугающее. Он всё время повторяет, что сейчас у нас есть только добровольная проверка без всяких критериев. Компании сами ставят себе оценки за домашнее задание, и никто даже не записал, каким должен быть экзамен.
Он говорит это почти как вызов. И, глядя на это, я всё думал: а ведь я знаю, как выглядит такой экзамен. Не для всего. Для медицины, той области, в которой я учился.
В больницах есть одна странность, которую никто не замечает. Можно войти в больницу в городе, где вы никогда не были, отдать свою жизнь в руки совершенно незнакомых людей, и это кажется нормальным. Почему? Никому из этих людей не доверяют за то, что они кажутся умными. Каждый из них прошёл через цепочку. Экзамены, ординатура, наставник, который заставлял вслух обосновывать каждое назначение, клинический разбор, где их ошибки раскладывают по косточкам перед коллегами. Медицина усвоила, медленно и ценой огромного вреда, что видимость компетентности не может быть стандартом. Вместо этого она сделала стандартом подотчётность, а доверие появилось как следствие.
Поэтому, когда Гейтс спрашивает, как могли бы выглядеть критерии, я не думаю, что ответ нужно изобретать с нуля. По крайней мере в медицине его можно позаимствовать.
Начните с простейшего теста. Если система будет влиять на то, что происходит с пациентом, задайте ей один и тот же вопрос дважды. Если она даст два разных ответа, одного этого должно хватить, чтобы закончить разговор. Звучит как абсурдно низкая планка. Большая часть медицинского ИИ сегодня её не берёт.
Затем спросите её почему, так, как спрашивает наставник. Нужен не абзац, который звучит разумно, а настоящее основание. Какое значение, какой порог, какие данные. Если рассуждение нельзя проверить, с ним нельзя и поспорить, а тому, с чем нельзя поспорить, не место рядом с пациентом.
Затем частота ошибок, измеренная кем-то другим на данных, которых система никогда не видела. Это обычный рефлекс из мира одобрения лекарств. Никто не верит производителю на слово, и сейчас не время начинать.
А когда система узнаёт что-то новое (а такие системы будут продолжать учиться, в этом весь их смысл), новое поведение ждёт. Оно работает в тени, записывает, что сделало бы, и человек решает, выпускать ли его в работу. Медицина давно так поступает и сама с собой. Многообещающий результат ждёт клинического испытания, испытание ждёт клинических рекомендаций. Это медленно, и это же причина, по которой ваша домашняя аптечка вас не убивает.
Возражение всегда одно: инновации. Всегда. Но мне кажется, это возражение сваливает в одну кучу две разные задачи. ИИ, который ищет в десяти миллионах записей закономерности, никем ещё не описанные, должен иметь право работать без ограничений, ведь гипотезы для того и существуют, чтобы чаще всего оказываться неверными. А вот ИИ, который действует, когда перед ним один конкретный пациент, нужен поводок. Две задачи, разные правила и дверь между ними, которая открывается только после проверки. Гейтс говорит почти то же самое о мониторинге моделей, способных проектировать опасные молекулы. Отрасли это почти ничего бы не стоило. И почему-то этого до сих пор никто не делает.
Здесь мне важно не выходить за пределы своей компетенции. Я понятия не имею, каким был бы аналогичный список для кибероружия или биобезопасности. Это не моя область, и я стал с подозрением относиться к тем, кто свободно рассуждает обо всех областях сразу. Но я вижу, что, когда Гейтс произносит слово «критерии», все серьёзно кивают и никто ничего не записывает. В моём уголке мира этот список вполне можно составить. Большая его часть уже изложена выше, примерно в четырёхстах словах.
И, если уж на то пошло, я пишу это не как человек, который боится технологии. Я работаю с ней каждый день и пришёл в эту сферу из-за того, что происходит, когда медицина опаздывает. Я знаю, чего это стоит. Именно поэтому критерии важны. Быстрее всего ИИ начнёт по-настоящему помогать людям, причём массово и там, где всё решают больницы, регуляторы и суды, если кто-то публично покажет, как выглядит подотчётность, так, чтобы это можно было проверить. Медицина написала этот свод правил около века назад. Кому-то осталось лишь взять его в руки.
Источник: интервью The Atlantic. ((Z))