A parte da entrevista de Gates que ninguém está respondendo

Assisti à entrevista em que Bill Gates diz que mudou de ideia sobre a IA. A maior parte é o que se esperaria. As capacidades chegaram mais rápido do que ele pensava. Bioterrorismo, ataques cibernéticos, empregos. Mas uma queixa voltava sempre, e ficou comigo mais tempo do que as partes assustadoras. Ele repete que tudo o que temos hoje é uma revisão voluntária, sem critérios. As empresas corrigem a própria lição de casa, e ninguém escreveu sequer qual deveria ser a prova.

Ele diz isso quase como um desafio. E, assistindo, eu não parava de pensar: eu sei, sim, como é essa prova. Não para tudo. Para a medicina, a área em que me formei.

Há uma coisa estranha nos hospitais que ninguém para para notar. Você pode entrar num hospital de uma cidade que nunca visitou e entregar sua vida a completos desconhecidos, e isso parece normal. Por quê? Ninguém confia nessas pessoas por elas parecerem inteligentes. Cada uma delas passou por uma cadeia. Provas, residência, um preceptor que as obrigava a justificar cada conduta em voz alta, uma sessão clínica em que seus erros são desmontados na frente dos colegas. A medicina aprendeu, devagar e depois de muito dano, que parecer capaz não é um padrão. Fez da prestação de contas o padrão, e a confiança veio como consequência.

Então, quando Gates pergunta como seriam esses critérios, não acho que a resposta precise ser inventada do zero. Na medicina, pelo menos, dá para pegá-la emprestada.

Comece pelo teste mais simples possível. Se um sistema vai influenciar o que acontece com um paciente, faça a ele a mesma pergunta duas vezes. Se ele der duas respostas diferentes, só isso já deveria encerrar a conversa. Parece uma exigência absurdamente baixa. A maior parte da IA médica de hoje não consegue cumpri-la.

Depois, pergunte por quê, do jeito que um preceptor pergunta por quê. Não um parágrafo que soe razoável, mas a base real. Qual valor, qual limiar, que evidência. Se o raciocínio não pode ser examinado, não há como discordar dele, e algo de que não se pode discordar não tem por que estar perto de um paciente.

Depois, a taxa de erro, medida por outra pessoa, em dados que o sistema nunca viu. É só o instinto da aprovação de medicamentos. Ninguém aceita a palavra do fabricante, e ninguém deveria começar a aceitar agora.

E, quando o sistema aprende algo novo, e esses sistemas vão continuar aprendendo, é para isso que eles existem, o novo comportamento espera. Roda em silêncio, registra o que teria feito, e uma pessoa decide se ele se forma. A medicina já faz isso consigo mesma. Um resultado promissor espera o ensaio clínico, o ensaio espera a diretriz. É lento, e é também o motivo pelo qual o seu armário de remédios não mata você.

A objeção é sempre a inovação. Sempre é. Mas acho que essa objeção mistura dois trabalhos diferentes num só. Uma IA que vasculha dez milhões de prontuários atrás de padrões que ninguém codificou deveria poder correr solta, porque hipóteses existem justamente para errar na maior parte das vezes. É a IA que age sobre o único paciente à sua frente que precisa de rédea curta. Dois trabalhos, regras diferentes, e uma porta entre eles que só se abre depois de revisão. Gates diz quase a mesma coisa sobre monitorar os modelos capazes de projetar moléculas perigosas. Isso custaria quase nada ao setor. E, por algum motivo, ainda não está sendo feito.

Quero tomar cuidado com o meu próprio alcance aqui. Não faço ideia de qual seria a lista equivalente para armas cibernéticas ou biossegurança. Não é a minha área, e passei a desconfiar de quem fala com fluência sobre todos os assuntos ao mesmo tempo. Mas reparo que, quando Gates diz a palavra critérios, todo mundo assente com gravidade e ninguém anota nada. No meu canto do mundo, a lista dá para escrever. A maior parte dela está aí em cima, em umas quatrocentas palavras.

E, para constar, não escrevo isto como alguém que tem medo da tecnologia. Construo com ela todos os dias, e entrei neste trabalho por causa do que acontece quando a medicina chega tarde. Sei o quanto isso custa. É exatamente por isso que os critérios importam. O caminho mais rápido para a IA realmente ajudar as pessoas, em escala, nos lugares que hospitais, reguladores e tribunais controlam, é alguém mostrar como é prestar contas, em público, onde dá para conferir. A medicina escreveu esse manual há cerca de um século. Só falta alguém pegá-lo.

Fonte: entrevista da The Atlantic. ((Z))