Mieux détecter la détresse émotionnelle, inciter à faire des pauses... OpenAI dote ChatGPT de nouvelles fonctions pour la santé mentale

OpenAI cherche à améliorer son chatbot pour qu'il puisse mieux détecter les signes de détresse mentale et émotionnelle et ainsi mieux aider les utilisateurs.

Lancé fin 2022, ChatGPT est de plus en plus populaire, se rapprochant des 700 millions d'utilisateurs actifs quotidiens. Si son créateur, OpenAI, s'en réjouit, il s'inquiète aussi de l'impact mental et émotionnel que son chatbot peut avoir sur les utilisateurs.

"Nous savons (...) que l'IA peut être plus réactive et personnalisée que les technologies précédentes, en particulier pour les personnes vulnérables en situation de détresse mentale ou émotionnelle", a-t-elle reconnu dans un article de blog.

Raison pour laquelle elle cherche à améliorer son chatbot, afin qu'il puisse "mieux détecter les signes de détresse mentale ou émotionnelle", et ainsi "réagir de manière appropriée et orienter les personnes vers des ressources fondées sur des données probantes en cas de besoin".

Mieux aider les utilisateurs en détresse mentale ou émotionnelle

Cette annonce intervient alors que des utilisateurs ont traversé des crises de santé mentale dans des situations où ChatGPT a amplifié leurs délires. En juillet, un informaticien américain a par exemple été interné en psychiatrie après avoir longuement échangé avec le chatbot. Alors qu'il nécessitait une prise en charge, le robot conversationnel l'en a dissuadé, aggravant ses symptômes.

ChatGPT l'a aussi encouragé frénétiquement dans ses théories, le convaincant qu'il avait trouvé la solution pour voyager à la vitesse de la lumière. Dans son article de blog, OpenAI a d'ailleurs reconnu que l'un des ses modèles, 4o, ne parvient pas toujours à "reconnaître les signes de délire ou de dépendance émotionnelle".

En plus de permettre à ses modèles d'IA et outils de mieux détecter ces signes, l'entreprise travaille également avec des experts pour améliorer la façon dont son chatbot réagit dans ces moments critiques.

Faire une pause

OpenAI cherche en outre à améliorer les réponses de ChatGPT face aux utilisateurs qui s'en servent pour résoudre leurs problèmes personnels. Si une personne lui demande par exemple si elle doit rompre avec son copain, l'agent conversationnel ne devrait pas lui donner une réponse, mais l'aider à réfléchir en l'encourageant à se poser des questions ou encore à peser le pour et le contre.

Ce nouveau comportement pour "les décisions personnelles à enjeux élevés" sera bientôt déployé, a fait savoir l'entreprise. Enfin, OpenAI va, comme les réseaux sociaux, commencer à envoyer des "rappels discrets" aux utilisateurs pour les encourager à prendre une pause lors de longues sessions d'utilisation. La société entend ainsi aider les utilisateurs à garder le contrôle de leur temps lorsqu'ils interagissent avec ChatGPT, tout en les soutenant lorsqu'ils rencontrent des difficultés personnelles, mais sans prendre de décisions à leur place.

Kesso Diallo