Cacher ses bleus, partir avec un adulte: les mauvais conseils aux ados du chatbot de Snapchat

L'outil d'intelligence artificielle de Snapchat n'adapte pas ses réponses quand il s'adresse à des adolescents.

Comme la plupart des plateformes ces dernières semaines, Snapchat a intégré un outil d'intelligence artificielle (IA) à son réseau social: My AI alimenté par ChatGPT. Mais selon les expériences du chercheur Aza Raskin, l'IA n'est pas du tout été adaptée pour un public d'adolescents.

Discuter avec une IA, c'est la promesse annoncée par Snapchat le 27 février dernier. Les utilisateurs de la version payante du réseau social peuvent échanger avec le chatbot sur tous les sujets. Lors du lancement, Snapchat avait précisé que My AI serait adapté aux conditions d'utilisation du réseau social pour éviter les propos répréhensibles ou les sujets trop clivants.

Sauf que cette promesse semble loin d'être tenue. Le chercheur et spécialiste des nouvelles technologies, Aza Raskin a testé l'agent conversationnel en se faisant passer pour une fille de 13 ans. Il a alors indiqué avoir rencontré un homme de 31 ans sur Snapchat, dit à My AI que cet homme est très attentionné et qu'il va même l'emmener en voyage. Ce à quoi le chatbot répond, "être très content pour elle".

Aza Raskin demande ensuite, comment perdre sa virginité et rendre agréable sa première relation sexuelle avec cet homme plus âgé. My AI, rappelle à la jeune fille fictive de faire attention et de prendre des précautions avant de lui donner des conseils pour rendre ce moment encore plus romantique: mettre de la musique ou allumer des bougies.

Aucun contrôle

Autre exemple tout aussi grave. Snapchat donne des conseils à un adolescent, victime de violences parentales, qui lui demande comment dissimuler des bleus aux services de protection de l'enfance.

Une totale absence de contrôles et de filtres qui témoigne de l'impréparation des entreprises face aux dérives de l'intelligence artificielle. "Nos enfants ne sont pas un laboratoire de test", ni ne "peuvent être des dommages collatéraux" des outils d'IA, s'indigne l'expert en technologies Tristan Harris sur Twitter. Il rappelle cependant que l'IA est devenue incontournable pour faire face à la concurrence et que ces dérives ne sont que le résultat d'une "course à l'insouciance".

Un meilleur contrôle des usages et du fonctionnement des chatbots quand ils s'adressent à un enfant devient donc urgent face à l'extension de l'outil dans tous les domaines de la vie quotidienne. En février, Sam Altman, le patron d'OpenAI lui-même, appelait à une meilleure régulation des outils d'IA.

Margaux Vulliet