"Nous ne resterons pas les bras croisés": la Californie régule les "chatbots" IA après une série de suicides d'adolescents

Défiant Donald Trump, le gouverneur démocrate de Californie a signé une législation régulant les agents conversationnels comme ChatGPT.

La Californie a promulgué lundi 13 octobre une législation régulant pour la première fois aux États-Unis les agents conversationnels, ou "chatbots", d'intelligence artificielle (IA), après une série de suicides d'adolescents ayant noué des relations fictives intimes avec ces outils, a annoncé le gouverneur Gavin Newsom.

Défiant la pression de la Maison-Blanche qui s'oppose à la régulation de l'IA, le gouverneur démocrate a signé lundi une série de lois qui imposent, entre autres, de vérifier l'âge des utilisateurs, d'afficher des messages d'avertissement réguliers et de prévoir des protocoles de prévention du suicide.

"Nous avons vu des exemples vraiment horribles et tragiques de jeunes qui ont été victimes de technologies peu régulées, et nous ne resterons pas les bras croisés pendant que des entreprises exercent sans limites et sans rendre de comptes", a déclaré Gavin Newson dans un communiqué publié après la promulgation de ce paquet législatif.

Un des principaux textes, la loi SB243, concerne la régulation des chatbots susceptibles de jouer un rôle de compagnon ou confident, tels que ceux développés par des plates-formes, comme Replika ou Character.AI.

Cette dernière a été l'une des premières poursuivie en justice par les parents d'un adolescent américain de 14 ans, Sewell, qui s'est tué en 2024 après avoir noué une relation amoureuse avec un chatbot inspiré de la série "Game of Thrones" et soupçonné de l'avoir renforcé dans ses pensées suicidaires.

"Garde-fous"

"Nous pouvons continuer à être leader dans le domaine de l'IA (...) mais nous devons agir de façon responsable, en protégeant nos enfants tout au long du chemin", a ajouté le gouverneur de Californie, qui abrite la Silicon Valley et les principaux géants du développement de modèles d'IA comme OpenAI (ChatGPT), Google (Gemini) ou xAI (Grok).

Outre la vérification de l'âge, cette loi impose d'afficher des messages réguliers pour rappeler à l'utilisateur que son interlocuteur est une machine (tous les 3 heures pour les mineurs). Elle oblige les entreprises à prévoir une détection des pensées suicidaires, à fournir un accès à des programmes de prévention et à transmettre des statistiques sur le sujet aux autorités.

"L'industrie technologique est encouragée à capter l'attention des jeunes et la retenir au détriment de leurs relations dans le monde réel", avait argué pendant les débats le sénateur californien Steve Padilla, à l'origine du texte.

"Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent être source d'inspiration, éduquer et relier les gens, mais sans véritables garde-fous, elles peuvent aussi exploiter, égarer et mettre en danger nos enfants", a encore justifié le gouverneur. Aux États-Unis, il n'y a pas de règles nationales pour limiter les risques liés à l'IA, et la Maison-Blanche essaie d'empêcher les États de produire leurs propres règles.

3114: le numéro national de prévention du suicide

Le 3114 est le numéro à contacter si vous êtes en détresse psychique ou si vous avez des idées suicidaires. Vous pouvez également le contacter si un de vos proches est dans ce cas. Il propose une écoute avec des professionnels de santé spécialement formés, et est disponible sept jours sur sept, 24 heures sur 24.

P.La. avec AFP