États-Unis: l'IA utilisée par le ministère de la santé se base sur des études scientifiques qui n'existent pas

Elsa, l'outil d'IA censé améliorer la productivité de l'agence américaine chargée de la santé publique, hallucine. Le chatbot invente des études, déforme des recherches et peine à répondre aux questions simples. De quoi ralentir l'efficacité des salariés.

Une intelligence artificielle qui vous ralentit. Début juin, la Food and Drug Administration (FDA), l'agence américaine chargée de la santé publique a mis à disposition de ses salariés Elsa, un outil d'IA.

"Cet outil innovant modernise le rôle de l’agence et met à profit les capacités de l’IA pour mieux servir le peuple américain", précisait la FDA dans un communiqué.

Le chatbot permet aux salariés d'être plus productifs et d'accélérer la mise sur le marché de nouveaux médicaments. Il peut par exemple faciliter le processus d'évaluation clinique, comparer différents médicaments et leur étiquetage ou générer des résumés de réunions.

"La révolution de l’IA est arrivée", s'enthousiasmait en juin le secrétaire à la santé, Robert F. Kennedy Jr., lors d'une audition au Congrès. Encore mieux: "L'IA permettra d'obtenir des approbations de médicaments très très rapidement", avait-il assuré lors d'une interview. Mais tout ne s'est pas passé comme prévu. Trois employés ont déclaré à CNN que l'IA inventait de fausses études.

"Je perds beaucoup de temps"

Selon les cas, l'outil a créé de toutes pièces des études, ou déformé des recherches belles et bien réelles. En un mot, elle hallucine. Le chatbot n'hésite pas à affirmer que certains employés travaillent à la FDA alors que ce n'est pas le cas, ou qu'un domaine ne relève pas de la compétence de l'agence... alors que si.

"Tout ce qu'on n'a pas le temps de vérifier deux fois n'est pas fiable", a déclaré une source au média américain. "L'outil hallucine avec assurance." En effet, lorsqu'Elsa résume des pages et des pages de recherche liées à un nouveau médicament, "il n'y a aucun moyen de savoir" si elle a déformé l'étude ou si elle a omis quelque chose qu'un examinateur humain aurait considéré comme important.

"L'IA est censée nous faire gagner du temps, mais je vous garantis que je perds beaucoup de temps simplement à cause de la vigilance accrue que je dois avoir pour vérifier les études", ajoute un autre salarié.

Les salariés ont posé des questions simples à l'outil pour vérifier la fiabilité des réponses d'Elsa. Ces tests se sont souvent soldés par des échecs. Le chatbot s'est par exemple trompé sur le nombre de médicaments d'une certaine classe autorisés pour les enfants. Il a également mal compté le nombre de produits portant une étiquette particulière.

L'outil reconnaît en revanche ses erreurs lorsqu'on lui signale. "Mais cela ne vous aide toujours pas à répondre à la question", déplore un employé. Une véritable épine pour l'agence qui souffre déjà des coupes budgétaires de l’administration Trump.

De son côté, Marthy Makary, le commissaire de la FDA, assure "ne pas avoir entendu parler de ces préoccupations spécifiques", tout en rappelant que l'utilisation d'Elsa était facultative. L'agence affirme avoir mis en place des garde-fous sur l'utilisation de l'outil par ses employés, bien que, comme tout outil d'IA, il lui arrive parfois de fournir des réponses incomplètes ou erronées.

Elsa, "tout comme de nombreux modèles d’IA générative", peut halluciner de fausses études, a reconnu Jeremy Walsh, responsable de l’IA au sein de la FDA. Pour autant, il se veut optimiste. L'outil serait en train de s'améliorer.

Salomé Ferraris