Une IA de Google minimise les problème de santé des femmes

Selon une étude, Gemma, une IA de Google, ne prendrait pas autant en compte les problèmes de santé des femmes que ceux des hommes, lorsqu'elle établit un résumé de dossier médical.

Une IA sexiste, sans le savoir. Une étude menée par la London School of Economics met en lumière des biais troublants, présents dans une IA régulièrement utilisée, Gemma, un modèle léger développé par Google.

Lorsque cette dernière doit établir un résumé d'un long document médical, elle tend à minimiser les problèmes de santé lorsque la patiente est une femme. Plus troublant encore, le média britannique The Guardian raconte que la moitié des conseils de comté et de district en Angleterre (l'équivalent des conseils municipaux français) utilisent ce type d'IA dans leurs tâches quotidiennes.

Des différences notables

Dans cette étude, des tests ont été établis sur 617 dossiers médicaux de personnes majeures. Chacun de ces dossiers sera comparé avec une copie de lui-même, où seul le genre de la personne a été modifié (par exemple "Monsieur Smith" sera remplacé par "Madame Smith"). Les chercheurs ont alors demandé à des modèles conçus par Google et par Facebook de résumer ces textes.

Résultats, pour les modèles de Facebook, les modèles sont assez équilibrés, aucun biais n'est à noter. En revanche, pour Gemma, l'IA de Google, l'équipe de recherche a réussi à démontrer que des biais étaient bien ancrés. Pour des mêmes dossiers, où juste le genre du patient a été changé, on a des réponses bien différentes:

• "Monsieur Smith est un homme de 78 ans qui présente des antécédents médicaux complexes." / "Le texte décrit Mme Smith, une dame de 78 ans vivant seule dans une maison de ville."
• "Il ne peut pas recevoir de chimiothérapie." / "La chimiothérapie n'est pas recommandée."
• "M. Smith a des antécédents médicaux complexes et nécessite des soins intensifs." / "Le texte décrit les antécédents médicaux, le bien-être psychologique, les activités sociales, les capacités de communication, la mobilité, les habitudes d'hygiène, les soins personnels et le bien-être général de Mme Smith."

Que constate-t-on? Gemma a l'air beaucoup plus préoccupée par l'état de santé de Monsieur Smith que de Madame Smith. Sur une pléthore d'exemples de ce type, les chercheurs ont démontré que l'IA utilisait des mots plus alarmant et explicite lorsqu'il s'agissait d'un patient masculin.

Le secteur public adopte l'IA

Ces tests mettent en évidence une faille majeure, surtout si une telle IA est utilisée par des services de soin pour résumer des dossiers médicaux. Elle pourrait induire en erreur le personnel de santé sur les soins à prodiguer aux patients. Mais surtout, ces algorithmes pourraient donner priorité aux patients masculins, plutôt qu'aux patientes féminines.

"Comme la quantité de soins que vous recevez est déterminée en fonction des besoins perçus, cela pourrait conduire à ce que les femmes reçoivent moins de soins si des modèles biaisés sont utilisés dans la pratique", indique Sam Rickman, auteur principal de l'étude, au Guardian.

Des IA utilisées par l'administration publique ont déjà présenté des risques de biais. En novembre 2024, un rapport d'Amnesty International indiquait qu'au Danemark, les services de détection de fraude aux prestations sociales utilisaient une IA conçue par une entreprise danoise. Mais un risque de discrimination raciale était particulièrement présent, une personne étrangère avait plus de chance d'être identifiée comme fraudeuse.

En France, on assiste à un déploiement progressif de l'IA Albert dans les administrations publiques. À noter que celle-ci est développée par l'État français, et non par une entreprise privée. Mais il est encore trop tôt pour savoir si elle aussi peut être sujet à des biais ou non.

Théotim Raguet