La partie de l'interview de Gates à laquelle personne ne répond

J'ai regardé l'interview dans laquelle Bill Gates dit avoir changé d'avis sur l'IA. L'essentiel est sans surprise. Les capacités sont arrivées plus vite qu'il ne le pensait. Bioterrorisme, cyberattaques, emploi. Mais un reproche revenait sans cesse, et il m'est resté en tête plus longtemps que les passages effrayants. Il répète que tout ce que nous avons aujourd'hui, c'est un examen volontaire, sans critères. Les entreprises corrigent leurs propres copies, et personne n'a même écrit ce que devrait être l'épreuve.

Il le dit presque comme un défi. Et en le regardant, je n'arrêtais pas de penser : je sais à quoi ressemble cette épreuve. Pas pour tout. Pour la médecine, le domaine dans lequel j'ai été formé.

Voici ce qu'il y a d'étrange dans les hôpitaux, et que personne ne prend le temps de remarquer. Vous pouvez entrer dans un hôpital d'une ville où vous n'êtes jamais allé, confier votre vie à de parfaits inconnus, et cela paraît normal. Pourquoi ? Si l'on fait confiance à ces personnes, ce n'est pas parce qu'elles ont l'air intelligentes. Chacune est passée par une chaîne. Des examens, l'internat, un médecin senior qui l'obligeait à justifier chaque prescription à voix haute, une revue de morbi-mortalité où ses erreurs étaient disséquées devant ses pairs. La médecine a appris, lentement et au prix de beaucoup de dégâts, qu'avoir l'air compétent ne suffit pas comme critère. Elle a pris la responsabilité pour critère, et la confiance a suivi.

Alors, quand Gates demande à quoi ressembleraient des critères, je ne pense pas qu'il faille inventer la réponse à partir de rien. En médecine, du moins, on peut l'emprunter.

Commencez par le test le plus simple possible. Si un système doit influer sur ce qui arrive à un patient, posez-lui deux fois la même question. S'il vous donne deux réponses différentes, cela seul devrait clore la discussion. Cela semble un seuil ridiculement bas. La plupart des IA médicales actuelles ne le franchissent pas.

Puis demandez-lui pourquoi, comme un médecin senior demande pourquoi. Pas un paragraphe qui a l'air raisonnable, mais le fondement réel. Quelle valeur, quel seuil, quelles preuves. Si le raisonnement ne peut pas être examiné, on ne peut pas le contester, et ce qu'on ne peut pas contester n'a rien à faire auprès d'un patient.

Ensuite, le taux d'erreur, mesuré par quelqu'un d'autre, sur des données que le système n'a jamais vues. C'est simplement le réflexe de l'autorisation des médicaments. Personne ne croit le fabricant sur parole, et ce n'est pas le moment de commencer.

Et quand le système apprend quelque chose de nouveau, et ces systèmes ne cesseront pas d'apprendre, c'est tout leur intérêt, le nouveau comportement attend. Il tourne en silence, consigne ce qu'il aurait fait, et une personne décide s'il est reçu. La médecine se l'impose déjà à elle-même. Un résultat prometteur attend l'essai clinique, l'essai attend la recommandation. C'est lent, et c'est aussi la raison pour laquelle votre armoire à pharmacie ne vous tue pas.

L'objection, c'est toujours l'innovation. Toujours. Mais je crois que cette objection confond deux métiers. Une IA qui fouille dix millions de dossiers à la recherche de schémas que personne n'a encore codifiés devrait pouvoir courir en liberté, parce que se tromper la plupart du temps, c'est précisément à ça que servent les hypothèses. C'est l'IA qui agit sur le patient qu'elle a devant elle qui a besoin d'une laisse. Deux métiers, des règles différentes, et entre les deux une porte qui ne s'ouvre qu'après examen. Gates dit presque la même chose à propos de la surveillance des modèles capables de concevoir des molécules dangereuses. Cela ne coûterait presque rien au secteur. Et pourtant, on ne le fait toujours pas.

Je veux rester prudent sur ce qui relève de ma compétence. Je n'ai aucune idée de ce que serait la liste équivalente pour les cyberarmes ou la biosécurité. Ce n'est pas mon domaine, et je me méfie de plus en plus de quiconque est à l'aise dans tous les domaines à la fois. Mais je remarque que lorsque Gates prononce le mot critères, tout le monde hoche gravement la tête et personne ne note rien. Dans mon coin du monde, la liste peut s'écrire. L'essentiel figure plus haut, en quatre cents mots environ.

Et, pour ce que ça vaut, je n'écris pas ceci en homme qui a peur de la technologie. Je construis avec elle tous les jours, et je me suis lancé dans ce travail à cause de ce qui se passe quand la médecine arrive trop tard. Je sais ce que cela coûte. C'est précisément pour cela que les critères comptent. Le moyen le plus rapide pour que l'IA aide vraiment les gens, à grande échelle, là où les hôpitaux, les régulateurs et les tribunaux ont la main, c'est que quelqu'un montre ce que rendre des comptes veut dire, en public, là où on peut le vérifier. La médecine a écrit ce mode d'emploi il y a environ un siècle. Il suffit que quelqu'un le reprenne.

Source : l'interview de The Atlantic. ((Z))