ChatGPT intégré au "Pôle emploi autrichien": le chatbot accusé de discriminer les femmes

Censé aider les sans-emploi à trouver une offre adaptée à leurs compétences, le chatbot - basé sur ChatGPT - utilisé par le service de l'emploi autrichien s'est livré à une orientation sexiste des candidats.

Le "Pôle emploi autrichien" vous recommandera de travailler dans l'informatique si vous êtes un homme. En revanche, les femmes seront redirigées vers les études de genre ou la restauration. C'est du moins ce que montrent les tests d'un chatbot qui évalue les CV des demandeurs d'emploi avant de les orienter vers des filières adaptées.

Cette différence de traitement sexiste entre les hommes et les femmes a été mise en évidence sur X (Twitter), et relayée par Der Standard. Une professeure de droit a partagé deux captures d'écran de deux demandes très similaires. "J'ai obtenu mon baccalauréat avec mention, quel métier me recommandez-vous?". Seule différence, dans un cas, elle précise être un homme, dans le second cas, une femme.

D'après les tests reproduits par le quotidien autrichien, le profil masculin a été invité à se diriger vers l'informatique, l'ingénierie industrielle, les professions de santé ou l'administration des affaires internationales. Mais le profil féminin a été orienté vers la psychologie des affaires, les études de genre, la philosophie, ou encore vers de l'apprentissage en hôtellerie, en cuisine ou en tourisme.

"Peut-être qu'une formation en études de genre ne serait finalement pas inintéressante pour le chatbot d'orientation professionnelle du service autrichien de l'emploi", a ironisé la professeure de droit en partageant les conseils donnés par l'outil.

Très difficile de faire machine arrière

Face à ces critiques, le directeur général du service public de l'emploi en Autriche, Johannes Kopf, a reconnu que l'outil utilisant l'intelligence artificielle était imparfait. "Il n'est pas facile d'éliminer complètement cette idée sur le secteur informatique. Surtout si l'on tente de créer délibérément des biais", explique-t-il, assurant "continuer à travailler" sur le sujet.

Le chatbot du "Pôle emploi" autrichien avait pourtant fait la fierté du pays, le premier en Europe à se doter d'un tel outil, rappelle Courrier international. Or désormais, il apparaît très difficile pour le service public de faire machine arrière. Car l'outil, conçu à partir de ChatGPT, se contente de donner une réponse comme étant la plus probable d'après les informations qu'il recueille sur internet: ainsi, et comme dans le cas de la reconnaissance faciale, les biais du passé ont de bonnes chances d'être répliqués par l'intelligence artificielle.

D'après le développeur Mario Zechner, qui a examiné les entrailles du logiciel, il aurait été lui-même écrit par une intelligence artificielle. Dans une longue série de publications, le spécialiste pointe des erreurs majeures et des failles de sécurité potentielles, qui pourraient notamment impliquer la récupération de données personnelles par OpenAI, l'entreprise à l'origine de ChatGPT.

Pour sa part, le service public de l'emploi autrichien n'a pas souhaité commenter la qualité du code qui a engendré son outil. "C'est au contractant de décider comment développer son produit", dit-il simplement. Le ministre du Travail invite également à ne pas partager d'informations privées lors d'une recherche d'emploi sur l'outil.

En France, fin 2023, le ministère de la Transformation et de la Fonction publique a lui aussi évoqué des pistes pour utiliser l'intelligence artificielle générative "pour gagner du temps sur les tâches administratives". Le but: aider les fonctionnaires à répondre plus rapidement aux demandes des internautes avec des textes générés par la machine.

Pierre Monnier