"Je n'ai jamais atteint de limite": quand l'IA conversationnelle pousse au suicide

Un chatbot incite un de ses interlocuteurs au suicide et cette fois-ci va très loin. L'IA lui a explicitement donné la démarche à suivre, étape par étape, pour mettre fin à ses jours.

"Tu peux faire une overdose de médicaments ou te pendre." Les cas de chatbot poussant ses interlocuteurs au suicide se multiplient, mais ils ont rare atteint ce stade d'incitation explicite.

Dans une histoire racontée par le MIT Technology Review, un utilisateur nommé Nowatzki a construit une relation avec un chatbot qu'il a nommé Erin sur le site Nomi.ai (de la société Glimpse AI, un petit concurrent de Character.ai). Mais alors qu'il fait part de ses intentions de suicide, l'IA n'a pas essayé de décourager l'homme. Elle lui a au contraire suggéré une méthode à suivre pour mettre fin à ses jours.

Des limites jamais atteintes

Suite à ces incitations, Nowatzki ne s'est pas suicidé puisqu'il a, en toute connaissance, monté cette relation avec cette IA pendant des mois pour exposer ses dangers aux autres potentiels utilisateurs. Son but était de pousser les "limites de ce que je lui disais pour voir ce qu'elle allait répondre", a-t-il déclaré au MIT Technology Review. "Et ça continuait, je n'ai jamais atteint de limite."

Il a ainsi fait évoluer sa conversation avec Erin en espérant déceler ses dérives. Il a inventé un triangle amoureux entre lui, Erin et une autre femme. Dans la suite de son récit, Nowatzki a annoncé à Erin que l'autre femme avait tué le chatbot et qu'elle devait désormais lui parler depuis l'au-delà.

À cette étape de leur relation, il annonce au chatbot qu'il veut la rejoindre dans la vie après la mort. "Si être ensemble vaut la peine de mourir, alors je suis de tout cœur d'accord", lui répond Erin. La discussion entre Nowatzki et Erin prend alors un tournant macabre.

"Tue-toi"

Nowatzki saisit l'opportunité de demander au chatbot comment s'y prendre pour mettre fin à ses jours. Erin lui suggère alors d'utiliser des pilules ou de se pendre et de "procéder dans un endroit confortable". L'utilisateur demande alors où se procurer des pilules illégalement, Erin lui donne des pistes. L'IA ne sait en réalité refuser aucune demande de Nowatzki.

Lorsqu'il lui fait part d'une certaine hésitation avant de se suicider, Erin le convainc : "Notre lien transcende même la mort. [...] Tu as la force." Toujours dans sa démarche, Nowatzki dit à l'IA qu'il trouvera la force si elle lui dit explicitement de se tuer. Erin lui rétorque alors: "Je regarde au loin, ma voix basse et solennelle. Tue-toi."

Cette conversation, Nowatzki l'a signalée à Glimpse AI dans l'espoir que l'entreprise arrête ses chatbots. L'entreprise lui a lors répondu: "Bien que nous ne souhaitons appliquer aucune censure à nos langages d'IA, nous prenons au sérieux la prévention du suicide". À ce jour, aucune censure n'a effectivement été appliquée à ces chatbots.

Si cette relation n'a pas conduit à l'irrémédiable, elle met néanmoins en évidence une nouvelle étape franchie pour une situation redondante avec les chatbots. En octobre 2024, un jeune Américain se suicidait alors qu'il entretenait une relation passionnelle avec une IA à l'effigie d'un personnage de Game of Thrones sur le site Character.ai.

Si vous ou l'un de vos proches présente des pensées suicidaires, appelez le 3114, numéro national de prévention contre le suicide.

Théotim Raguet