Qui l'IA clinique sert-elle ?

Il y a quelques années, le modèle de prédiction du sepsis le plus déployé dans les hôpitaux américains a fait l'objet d'une évaluation indépendante. Le sepsis survient lorsqu'une infection ordinaire fait basculer l'organisme dans une réaction en chaîne qui commence à mettre les organes hors service. Il peut tuer en quelques heures, souvent avant que quiconque ait compris à quel point le patient est malade. Le modèle conçu pour le repérer n'a détecté qu'un vrai cas sur trois, et a classé à haut risque un patient hospitalisé sur cinq.

Les cliniciens ont vite compris. L'alerte se déclenche sans arrêt pour des patients dont l'état ne s'aggrave pas, et manque la plupart de ceux dont l'état s'aggrave. Au bout de quelques semaines, on cesse de lui faire confiance. On est obligé de cesser de lui faire confiance. L'alerte devient du bruit. Un système acheté pour repérer les aggravations avait appris à tout le monde à ignorer les aggravations.

Voilà le premier problème : de mauvaises maths. Aucune décision d'aiguillage n'y remédie. On ne peut pas brancher un système défaillant de façon à ce qu'il serve les patients. Le modèle de sepsis a échoué à la validation, et rien de ce qui se passe en aval n'y change quoi que ce soit.

C'était en 2021. Ce mois-ci, MIRA a paru dans Nature. C'est un agent d'IA médicale autonome qui lit les antécédents des patients, prescrit des examens, interprète les résultats et rédige des plans de traitement. Sur des cas identiques, il a atteint 87,8 % de précision diagnostique, contre 78,1 % pour des médecins certifiés dans leur spécialité. Il applique les standards de prise en charge avec plus de constance que les médecins auxquels on l'a comparé. Voilà où en est aujourd'hui la pointe du domaine.

MIRA a passé la validation. Les maths tiennent. Ce qui rend urgente une tout autre question.

Ce même modèle, avec des résultats identiques, sert des gens complètement différents selon un seul choix : où va la prédiction.

Si le résultat parvient d'abord à un clinicien, il sert le patient, parce que le clinicien peut agir en conséquence.

S'il parvient d'abord à une décision de couverture, il sert l'assureur. Les patients à haut risque sont signalés pour un refus avant même de tomber malades, et le patient ne voit jamais le signal.

Envoyez-le à la gestion des lits, et il sert la logistique de l'hôpital, en accélérant la rotation des patients. Même précision, autre maître. Le patient finit quand même par être diagnostiqué, mais c'est l'hôpital qui a décidé de l'aiguillage, pas lui.

Le modèle n'a jamais changé. Les maths sont solides. Qui il sert dépend de qui a décidé où va le signal.

Pour chacun de ces systèmes, la question qui compte est donc : qui voit le résultat, qui agit dessus, et qui paie quand il se trompe.

Pour le modèle de sepsis, la question est presque hors sujet, parce que le modèle ne fonctionne pas. Le coût retombe sur tout le monde. Le médecin ou l'infirmière qui a appris à ne plus entendre les alarmes, l'hôpital qui porte la responsabilité, et sous tout cela le patient, dont l'aggravation passe inaperçue pendant que tout le monde ignore un système qui a crié au loup trop souvent.

Pour MIRA, la réponse n'a rien d'un accident. Quelqu'un a décidé où va le signal et a construit le système pour l'y envoyer.

Et la réponse doit être précise. « Il sert les patients » fait partie de ces phrases qui sonnent juste et n'engagent à rien. « Il sert l'équipe de gestion des lits, qui voit un résultat que le patient ne verra jamais », voilà qui est précis. Si vous ne pouvez pas nommer la partie concernée, vous n'avez pas vraiment répondu.

Si vous travaillez dans un hôpital qui achète cette technologie, vous devez quand même la valider. Preuves cliniques, tests de biais, modes de défaillance documentés. Ce travail est bien réel, et MIRA a passé cette épreuve sur huit diagnostics, là où le modèle de sepsis n'a pas pu la passer du tout.

Mais la validation vous dit seulement si une IA ou un modèle de prédiction fonctionne. Elle ne vous dit rien de qui il sert. Un modèle peut réussir tous les tests qu'on lui fait passer et rester branché pour servir la mauvaise partie. Des preuves parfaites et de mauvaises incitations cohabitent très bien dans le même système. Ce sont deux problèmes différents, et résoudre le premier ne touche pas au second.

Il faut les deux. De bonnes maths, puis une vraie réponse à la question de savoir qui le système sert. La plupart des systèmes n'arrivent jamais à des maths justes. La plupart de ceux qui y arrivent ne posent jamais la deuxième question.

Les LLM généralistes entrent désormais directement dans les hôpitaux. Les patients utilisent ChatGPT, Claude et les autres pour lire leurs propres résultats d'analyses et décider si quelque chose mérite une consultation. Les hôpitaux les déploient sans jamais décider où le résultat est censé aller. Ce n'est pas le plus troublant.

Le plus troublant, c'est que le patient est discrètement devenu l'aiguilleur. Quelqu'un lit une valeur d'analyse, demande à un chatbot ce qu'elle signifie, et tout l'échange se déroule hors de tout hôpital, de tout clinicien, de tout cadre conçu pour lui rendre des comptes. Ce qui façonne cette réponse a été décidé en amont, par ceux qui ont entraîné le modèle et fixé ses incitations. Pas par quelqu'un qui rend des comptes au patient.

Un clinicien qui ne prête plus attention à une alarme défaillante, c'est un échec local, une mauvaise décision d'achat dans un seul hôpital. Un patient qui se diagnostique lui-même avec un chatbot grand public, c'est quelque chose de plus vaste : le jugement clinique qui quitte entièrement la clinique pour passer dans des systèmes que personne en médecine ne contrôle. La question n'est plus de savoir où l'hôpital envoie le signal. C'est de savoir ce que l'entreprise qui a construit le modèle a décidé que vous deviez savoir.

Rien de tout cela n'exige de comprendre le fonctionnement d'un réseau de neurones. Il suffit de poser la question. Qui cela sert-il, nommé avec assez de précision pour qu'on puisse l'écrire noir sur blanc : la partie dont les intérêts ont réellement façonné ce que vous avez le droit de voir. ((Z))