Après le suicide d'un ado, une appli de discussion avec des IA promet de mieux protéger les plus jeunes

Faisant l’objet de plusieurs plaintes, dont une liée au suicide d'un adolescent, Character.ai a annoncé plusieurs changements sur sa plateforme pour proposer une expérience plus sûre aux jeunes utilisateurs.

"Favoriser un environnement sûr" pour l’ensemble des utilisateurs. Dans cet objectif, la plateforme Character.ai, qui permet de discuter avec des chatbots, a dévoilé une série de changements ce jeudi 12 décembre. Changements qui interviennent alors qu’elle fait face à plusieurs plaintes, étant notamment accusée d’avoir poussé un adolescent au suicide.

Character.ai vise ainsi à mieux protéger ses jeunes utilisateurs, avec une série de nouveautés se traduisant par une expérience différente pour les adolescents et les adultes. La plateforme indique en effet avoir développé un modèle d’IA distinct pour ces derniers, qui discuteront donc avec un modèle différent de celui des adultes.

Limites "plus conservatrices", contrôle parental...

Ce nouveau modèle est conçu pour imposer des limites "plus conservatrices" aux adolescents, "en particulier lorsqu’il s’agit de contenus romantiques”. "L’objectif est d’éloigner le modèle de certaines réponses ou interactions, afin de réduire la probabilité que les utilisateurs rencontrent ou fassent revenir le modèle sur des contenus sensibles ou suggestifs", a expliqué Character.ai.

Autrement dit, il s’agit d’empêcher les réponses inappropriées de la part du modèle, mais aussi de mieux détecter et bloquer les requêtes des utilisateurs destinées à générer des contenus inappropriés.

Outre ces changements, Character.ai va mettre en place de nouvelles fonctionnalités, dont un contrôle parental qui permettra aux parents d’avoir un aperçu de l’expérience de leur enfant sur la plateforme. Ils pourront voir le temps qu’il y a passé ainsi que les chatbots avec lesquels il a interagi le plus fréquemment. Cette fonction devrait être disponible au cours du premier trimestre de l’année prochaine.

Character.ai va également avertir les utilisateurs lorsqu’ils auront passé plus d’une heure sur sa plateforme, adultes comme adolescents. "Cette fonction sera éventuellement assortie d’options personnalisables pour les utilisateurs adultes, mais les utilisateurs de moins de 18 ans seront davantage limités dans leur capacité à la modifier", précise-t-elle.

Outre les plaintes portées contre Character.ai, cette série de changements intervient alors que la plateforme fait l'objet d'une enquête ouverte par le procureur général du Texas, Ken Paxton. Visant aussi 14 autres sociétés, dont Instagram et Reddit, elle porte sur "leurs pratiques en matière de confidentialité et de sécurité pour les mineurs".

Kesso Diallo