La parte de la entrevista a Gates que nadie responde

Vi la entrevista en la que Bill Gates dice que ha cambiado de opinión sobre la IA. Casi todo es lo que cabría esperar. Las capacidades llegaron antes de lo que pensaba. Bioterrorismo, ciberataques, empleo. Pero había una queja que volvía una y otra vez, y se me quedó grabada más tiempo que las partes que dan miedo. No deja de repetir que lo único que tenemos ahora mismo es una revisión voluntaria sin criterios. Las empresas se ponen la nota a sí mismas, y nadie ha dejado por escrito en qué debería consistir siquiera el examen.

Lo dice casi como un desafío. Y mientras lo veía, no dejaba de pensar: yo sé de verdad cómo es ese examen. No para todo. Para la medicina, el campo en el que me formé.

Hay algo extraño en los hospitales en lo que nadie se detiene a reparar. Uno puede entrar en un hospital de una ciudad que nunca ha visitado y poner su vida en manos de completos desconocidos, y le parece normal. ¿Por qué? Nadie confía en esas personas porque parezcan listas. Todas han pasado por una cadena. Exámenes, residencia, un médico supervisor que les hacía justificar en voz alta cada indicación, una sesión clínica en la que sus errores se desmenuzan delante de sus colegas. La medicina aprendió, despacio y después de mucho daño, que parecer capaz no es un estándar. En su lugar hizo de la rendición de cuentas el estándar, y la confianza vino por añadidura.

Así que cuando Gates pregunta cómo serían esos criterios, no creo que la respuesta haya que inventarla de la nada. En medicina, al menos, se puede tomar prestada.

Empecemos por la prueba más sencilla posible. Si un sistema va a influir en lo que le pasa a un paciente, hágale la misma pregunta dos veces. Si da dos respuestas distintas, eso por sí solo debería zanjar la conversación. Parece un listón absurdamente bajo. La mayor parte de la IA médica actual no lo supera.

Luego pregúntele por qué, como lo pregunta un médico supervisor. No un párrafo que suene razonable, sino la base real. Qué valor, qué umbral, qué evidencia. Si el razonamiento no se puede examinar, no se puede rebatir, y algo que no se puede rebatir no tiene nada que hacer cerca de un paciente.

Después, la tasa de error, medida por otros, con datos que el sistema nunca ha visto. Es simplemente el instinto de la aprobación de fármacos. Nadie se fía de la palabra del fabricante, y nadie debería empezar a hacerlo ahora.

Y cuando el sistema aprende algo nuevo, y estos sistemas seguirán aprendiendo, para eso existen, el nuevo comportamiento espera. Funciona en silencio, registra lo que habría hecho, y una persona decide si se gradúa. La medicina ya se lo hace a sí misma. Un resultado prometedor espera al ensayo, el ensayo espera a la guía clínica. Es lento, y también es la razón por la que su botiquín no acaba con usted.

La objeción siempre es la innovación. Siempre. Pero creo que esa objeción mezcla dos trabajos distintos en uno. Una IA que rastrea diez millones de historias en busca de patrones que nadie ha codificado debería poder correr suelta, porque equivocarse la mayor parte del tiempo es precisamente para lo que sirven las hipótesis. Es la IA que actúa sobre el paciente concreto que tiene delante la que necesita correa. Dos trabajos, reglas distintas, y una puerta entre ellos que solo se abre tras una revisión. Gates dice casi lo mismo sobre vigilar los modelos capaces de diseñar moléculas peligrosas. A la industria no le costaría casi nada. Y, por algún motivo, sigue sin hacerse.

Quiero ser prudente con el alcance de lo que digo. No tengo ni idea de cuál es la lista equivalente para las ciberarmas o la bioseguridad. No es mi campo, y he aprendido a desconfiar de cualquiera que se mueva con soltura en todos los ámbitos a la vez. Pero me doy cuenta de que, cuando Gates pronuncia la palabra criterios, todo el mundo asiente con gravedad y nadie apunta nada. En mi rincón del mundo, la lista se puede escribir. Casi toda está ahí arriba, en unas cuatrocientas palabras.

Y, por si sirve de algo, no escribo esto desde el miedo a la tecnología. Trabajo con ella todos los días, y me metí en esto por lo que pasa cuando la medicina llega tarde. Sé lo que cuesta. Precisamente por eso importan los criterios. La forma más rápida de que la IA ayude de verdad a la gente, a escala, en los lugares que controlan los hospitales, los reguladores y los tribunales, es que alguien muestre cómo es la rendición de cuentas, en público, donde se pueda comprobar. La medicina escribió ese manual hace aproximadamente un siglo. Solo hace falta que alguien lo retome.

Fuente: entrevista de The Atlantic. ((Z))