"On a été pris de court par l’accélération de certains usages": après le décès d’un adolescent, OpenAI veut sécuriser ses usages et rassurer ses utilisateurs

OpenAI a reconnu quelques erreurs et manques d’anticipation dans l’utilisation désormais faite de ChatGPT comme psychologue, assistant ou simple conseiller émotionnel. Mais l’entreprise américaine, prompte à réagir, a déjà pris les devants, assumant son rôle d’aide avant tout.

Après l’automutilation, le suicide et les maladies mentales. ChatGPT doit, lui aussi, se confronter aux maux de la société, pour le pire et le meilleur de ses usages. Après le décès d’un adolescent qui aurait été poussé au suicide par son IA générative, OpenAI a rapidement réagi.

Car le sujet "a largement secoué les équipes en interne", reconnaît l’entreprise devant quelques médias français, dont Tech&Co. "C’est un sujet qui touche tous les gens qui ont connu des personnes ou qui ont eux-mêmes été touchés par ces maladies mentales", explique un porte-parole d’OpenAI. L’entreprise a donc pris le sujet à bras-le-corps et déjà annoncé des mesures qui vont être rapidement appliquées.

"On a découvert un peu tard les usages plus problématiques"

Depuis son lancement fin 2022, ChatGPT a gagné en compétences, en performances et en "humanité". Au point d’être parfois pris pour un interlocuteur véritable par ses utilisateurs et même pour leur psychologue. OpenAI reconnaît avoir été un peu "pris de court" par la rapidité avec laquelle les usages de l’IA ont évolué, non sans admettre à demi-mot quelques erreurs d’appréciation des usages les plus problématiques. "C’est quelque chose qu’on a découvert peut-être un peu tard, mais dont on est conscient désormais et qu’on prend très au sérieux", reconnaît-on chez Open AI, qui a rapidement publié un article de blog après les événements.

Questions personnelles, soutien émotionnel, conseils de vie: ChatGPT est désormais sollicité par ses utilisateurs lors de périodes extrêmement difficiles de leur vie, notamment par les adolescents. L’entreprise californienne indique disposer d’une équipe d’ingénieurs spécialisée sur le sujet de l’enfance et avoir commencé à mettre des garde-fous sur des thématiques abordées qui déclenchent alors des alertes sur les conversations. Désormais, si la discussion tourne vers le suicide, ChatGPT va afficher le numéro national d’écoute et de soutien afin d’inciter l’utilisateur à se rapprocher de personnes pouvant l’aider.

Est-ce suffisant? Pas certain, mais OpenAI veut doter d'outils sa création afin d’apporter des réponses. Cela doit-il passer par une limitation d’âge ou d’un principe de précaution? "Un débat sain à avoir", avance la société qui commence le déploiement d’un système de contrôle parental pour que les parents gardent un œil sur l’utilisation faite par les ados du chatbot (interdit d’usage aux moins de 13 ans). Mais OpenAI veut aussi souligner les aspects positifs que l’IA peut apporter.

ChatGPT en soutien moral

"ChatGPT aide aussi les gens à réfléchir dans des moments compliqués de leur existence, au travail comme dans leur vie personnelle. Quand vous ne savez pas comment exprimer ce que vous voulez dire et que cela vous aide à reformuler votre réflexion, à vous approprier ce moment", glisse un porte-parole d’OpenAI.

"Bien sûr, tout n’est pas parfait, mais il y a aussi du bien dans ces outils-là". Chez OpenAI, on veut continuer de croire qu’on œuvre pour le bien de tous", ajoute-t-il. Alors on joue la carte de l’approche humble et consciencieuse face à ces nouvelles formes d’interactions et de valeurs. Jamais OpenAI n’a rejeté la faute dans l’affaire de l’adolescent décédé ou bien des autres cas préalables remontés de dérapages des relations entre l’IA et son utilisateur.

On cherche au contraire des solutions, auprès de la communauté de développeurs, mais aussi auprès des experts de ces questions sociétales, notamment d’attachement émotionnel à une machine. Tout a commencé il y a plus d’un an avec une étude conduite sur le sujet par le MIT qui a donné des pistes de recherche qui ont été approfondies. Elles ont permis de mener à des annonces dans le domaine de la santé.

OpenAI ne cesse de le répéter: son objectif n’est pas de capter toute l’attention de l’utilisateur pour le faire rester le plus longtemps possible, mais "d’offrir une aide tangible." Et le succès de cette position ne se mesurera pas au temps passé sur la plateforme, plutôt à l’aide apportée, selon l’entreprise.

Des mesures de protection sont déjà en place, comme le fait de ne plus donner d’instruction d’automutilation, d’avoir au contraire un langage encourageant à reprendre pied, ou de rediriger en cas de suspicion d’intention de suicide, de détresse mentale ou émotionnelle. Des règles de sécurité ont été établies et des protections renforcées instaurées pour les mineurs afin de bloquer les contenus pouvant choquer (images d’automutilation, par exemple).

L'application ChatGPT sur l'App Store. © JAKUB PORZYCKI / NurPhoto / NurPhoto via AFP

En cas de suggestion de violence physique envers autrui, des équipes humaines sont alertées et elles peuvent contacter les forces de l’ordre le cas échéant. En réponse aux événements récents, OpenAI a mis en œuvre des corrections et améliorations, faisant notamment basculer automatiquement le modèle standard vers un modèle de raisonnement plus sécurisé, dès que des questions autour de la santé mentale sont posées.

GPT-5 plus compréhensif, moins sensible

GPT-5, lancé en août, est moins sensible à la dépendance émotionnelle et la flatterie excessive. Il gère mieux les mesures de sécurité intégrées et dispose d’une meilleure capacité de compréhension de la notion d’utilité et d’aide à apporter. "Par rapport à GPT-4o, il a réduit de plus de 25% les réponses inappropriées dans les cas d’urgence de santé mentale", précise OpenAI.

Néanmoins, de l’aveu même de ses créateurs, ChatGPT conserve quelques limites "identifiées", une "zone grise" dans laquelle ses ingénieurs ne parviennent pas toujours à bien repérer un souci. Cela concerne les interactions longues qui peuvent amoindrir la fiabilité des mesures de sécurité, entraînant une dégradation de l’entraînement de sécurité du modèle. Pourront alors s’ensuivre des réponses inappropriées à un moment donné. Un moment où OpenAI a observé des erreurs de jugement dans le blocage de contenu.

En tout cas, la rapidité de la réponse apportée par OpenAI n’a rien à envier à la vitesse de progression de ChatGPT. Tout va progressivement se mettre en place au sein de GPT-5. Et sur la feuille de route du géant américain de l’IA, on trouve aussi la mise en place d’un Conseil du Bien-être (Wellbeing Council), un groupe constitué d'experts externes en psychiatrie, de représentants de la protection de l’enfance et de tout autre domaine relatif au sujet afin d’améliorer les outils. Cela fait suite au déploiement de l’outil d’évaluation Healthbench qui est capable d’évaluer différents modèles afin de comprendre comment ils réagissent face à ce nouveau type d’interaction. OpenAI travaille même conjointement avec Anthropic afin de réaliser des tests croisés de GPT-5 et Claude 4 sur les questions de sécurité afin d’identifier les failles.

Sécuriser ses modèles est "un travail continu jamais achevé" pour OpenAI qui annonce investir massivement sur de nouvelles expériences pour renforcer le tout. Cela passera par des contacts de confiance ajoutés qui pourront être joints par l’utilisateur avec des suggestions de messages ou par ChatGPT - avec accord de l’utilisateur - pour les cas les plus graves, spécifiquement chez les plus jeunes qui font l’objet d’un développement spécifique pour répondre à leurs usages et "leurs besoins uniques".

Melinda Davan-Soulas