Часть интервью Гейтса, на которую никто не отвечает

Я посмотрел интервью, в котором Билл Гейтс говорит, что изменил своё мнение об ИИ. Большая часть ожидаема. Возможности появились быстрее, чем он думал. Биотерроризм, киберугрозы, рабочие места. Но одна претензия возвращалась снова и снова, и она не отпускала меня дольше, чем всё пугающее. Он всё время повторяет, что сейчас у нас есть только добровольная проверка без всяких критериев. Компании сами ставят себе оценки за домашнее задание, и никто даже не записал, каким должен быть экзамен.

Он говорит это почти как вызов. И, глядя на это, я всё думал: а ведь я знаю, как выглядит такой экзамен. Не для всего. Для медицины, той области, в которой я учился.

Вот что странно в больницах, хотя никто не задумывается об этом. Можно войти в больницу в городе, где вы никогда не были, отдать свою жизнь в руки совершенно незнакомых людей, и это кажется нормальным. Почему? Никому из этих людей не доверяют за то, что они кажутся умными. Каждый из них прошёл через цепочку. Экзамены, ординатура, наставник, который заставлял вслух обосновывать каждое назначение, клинический разбор, где их ошибки раскладывают по косточкам перед коллегами. Медицина усвоила, медленно и ценой огромного вреда, что казаться способным ещё не стандарт. Вместо этого она сделала стандартом подотчётность, а доверие появилось как следствие.

Поэтому, когда Гейтс спрашивает, как могли бы выглядеть критерии, я не думаю, что ответ нужно изобретать с нуля. По крайней мере в медицине его можно позаимствовать.

Начните с простейшего теста. Если система будет влиять на то, что происходит с пациентом, задайте ей один и тот же вопрос дважды. Если она даст два разных ответа, одного этого должно хватить, чтобы закончить разговор. Звучит как абсурдно низкая планка. Большая часть медицинского ИИ сегодня её не берёт.

Затем спросите её почему, так, как спрашивает наставник. Не ради абзаца, который звучит разумно, а ради настоящего основания. Какое значение, какой порог, какие данные. Если рассуждение нельзя проверить, с ним нельзя и поспорить, а тому, с чем нельзя поспорить, не место рядом с пациентом.

Затем частота ошибок, измеренная кем-то другим на данных, которых система никогда не видела. Это всё тот же инстинкт, что и при одобрении лекарств. Никто не верит производителю на слово, и начинать сейчас не стоит.

А когда система узнаёт что-то новое (а такие системы будут продолжать учиться, в этом весь их смысл), новое поведение ждёт. Оно работает в тени, записывает, что сделало бы, и человек решает, выпускать ли его в работу. Медицина уже поступает так сама с собой. Многообещающий результат ждёт клинического испытания, испытание ждёт клинических рекомендаций. Это медленно, и именно поэтому ваша домашняя аптечка вас не убивает.

Возражение всегда одно: инновации. Всегда. Но мне кажется, это возражение смешивает две разные задачи в одну. ИИ, который ищет в десяти миллионах записей закономерности, никем ещё не описанные, должен иметь право работать без ограничений, ведь гипотезы для того и существуют, чтобы чаще всего оказываться неверными. Поводок нужен тому ИИ, который принимает решения по одному пациенту, находящемуся прямо перед ним. Две задачи, разные правила и дверь между ними, которая открывается только после проверки. Гейтс говорит почти то же самое о мониторинге моделей, способных проектировать опасные молекулы. Отрасли это почти ничего бы не стоило. И почему-то это до сих пор не делается.

Я хочу осторожно обозначить пределы своей компетенции. Я понятия не имею, каким был бы аналогичный список для кибероружия или биобезопасности. Это не моя область, и я стал с подозрением относиться к тем, кто свободно рассуждает обо всех областях сразу. Но я замечаю, что, когда Гейтс произносит слово «критерии», все серьёзно кивают и никто ничего не записывает. В моём уголке мира этот список можно написать. Большая его часть выше, примерно в четырёхстах словах.

И, если уж на то пошло, я пишу это не как человек, который боится технологии. Я работаю с ней каждый день и пришёл в эту сферу из-за того, что происходит, когда медицина опаздывает. Я знаю, чего это стоит. Именно поэтому критерии важны. Быстрее всего ИИ начнёт по-настоящему помогать людям, в масштабе, там, где всё контролируют больницы, регуляторы и суды, если кто-то покажет, как выглядит подотчётность, публично, там, где это можно проверить. Медицина написала этот свод правил около века назад. Кому-то осталось лишь взять его в руки.

Источник: интервью The Atlantic. ((Z))