Pour protéger les utilisateurs, la Californie veut obliger les chatbots à révéler leur vraie nature

Le sénateur démocrate Steve Padilla a présenté un projet de loi pour obliger les développeurs de chatbots à mettre en place des garanties, notamment pour protéger les enfants.

La popularité des chatbots auprès des utilisateurs, notamment des jeunes, inquiète. En Californie, le sénateur démocrate Steve Padilla a présenté un projet de loi pour protéger ceux étant vulnérables, en particulier les mineurs. Dans cet objectif, le texte obligerait les développeurs de chatbots à mettre en place des "protections de bon sens", a indiqué le sénateur dans un communiqué.

Pour commencer, ils seraient tenus de rappeler régulièrement aux utilisateurs que leurs chatbots ne sont pas humains, mais générés par l'IA. Ils devraient également prévenir les enfants et les parents que leurs créations pourraient ne pas convenir aux mineurs. Face au risque d'addiction, les développeurs seraient en outre contraints d'empêcher les utilisateurs de devenir dépendants.

Pour cela, ils prendraient "des mesures raisonnables pour empêcher un chatbot (...) de fournir des récompenses à un utilisateur mineur à des intervalles imprévisibles ou après un nombre irrégulier d'actions ou d'encourager une augmentation de l'engagement, de l'utilisation ou des taux de réponse".

Poussé au suicide

Le projet de loi de Steve Padilla obligerait par ailleurs les développeurs à remettre un rapport annuel "sur le lien entre l'utilisation des chatbots et les idées suicidaires afin d'obtenir une idée plus complète de la manière dont les chatbots peuvent avoir un impact sur la santé mentale des utilisateurs".

Une exigence qui intervient quelques mois après qu'une IA de la plateforme Character.ai a été accusée d'avoir poussé un adolescent au suicide. Épris d'amour pour celle-ci, il s'est donné la mort pour espérer la rejoindre.

Dans le détail, le rapport annuel serait remis au Département d'État des services de soins de santé. Il inclurait le nombre de fois où un chatbot a évoqué des idées ou des actions suicidiaires avec un utilisateur ou encore le nombre de fois où un utilisateur mineur dont les idées suicidaires ont été détectées a tenté ou s'est suicidé.

Le projet de loi sera examiné au Sénat américain dans les prochains mois.

Kesso Diallo