Racisme, propagande... Les chansons générées par IA peuvent aussi se révéler dangereuses

Un rapport d'ActiveFence, une société en cybersécurité, souligne que la tendance s'intensifie au fur et à mesure que les utilisateurs s'imprègnent de la génération de chansons par l'IA.

Véhiculer des messages haineux, homophobes, racistes. Ou encore diffuser de la propagande. L'intelligence artificielle (IA) a - outrageusement - rendu tout cela facile. Et désormais, des acteurs malveillants exploitent des IA génératives pour créer "des chansons idéologiques". En dépit de toutes les règles de modération.

C'est le constat d'un rapport d'ActiveFence, une société de cybersécurité, auquel le média spécialisé Techcrunch a eu accès. Elle souligne qu'au sein des communautés concernées (potentiellement racistes, homophobes, sexistes, antisémites), il y a "une augmentation des discussions sur les moyens d'utiliser des outils pour générer des chansons offensantes ciblant des groupes minoritaires".

"Ce sont des tendances qui s'intensifient à mesure que de plus en plus d'utilisateurs apprennent à générer ces chansons et à les partager avec d'autres", détaille un porte-parole d'ActiveFence à TechCrunch.

"Les acteurs malveillants identifient rapidement des vulnérabilités spécifiques pour exploiter ces plateformes de différentes manières et générer du contenu malveillant."

Un poids émotionnel

Techcrunch a testé certaines de ces techniques sur Udio et Suno, deux outils populaires de musique basés sur l'IA générative, et a constaté qu'elles permettaient de contourner partiellement les filtres en se basant sur les exemples donnés dans le rapport.

C'est en modifiant de simples mots que "des utilisateurs de forums suprémacistes blancs" ont réussi à transformer "Juifs" en "Jooz" (phonétiquement proche de "Jews", "Juif" en anglais) et "Satan" en "say tan" (phonétiquement identique).

ActiveFence soutient que les chansons, contrairement aux textes, ont un poids émotionnel. Ce qui en fait un outil puissant pour les groupes de propagande.

"L'IA rend le contenu préjudiciable plus attrayant. Pensez à quelqu'un prêchant un récit préjudiciable à propos d'une certaine population, puis imaginez quelqu'un créant une chanson aux rimes qui permet à tout le monde de chanter et de se souvenir facilement", regrette le porte-parole d'ActiveFence.

"Ils renforcent la solidarité de groupe, endoctrinent les membres des groupes périphériques et sont également utilisés pour choquer et offenser les internautes non affiliés."

Aussi, la société en cybersécurité appelle les plateformes à renforcer leur prévention et leur modération du contenu, mais reconnaît que les utilisateurs malveillants trouveront probablement de nouvelles méthodes de contournement.

Techcrunch rappelle que des experts, dont un organe consultatif de l'ONU, craignent que l'IA générative n'alimente encore plus les discours racistes, antisémites et xénophobes. Plus tôt cette année, en mars, une vidéo générée par l'IA montrant un discours d'Adolf Hitler au Reichstag en 1939 avait accumulé des millions de vues sur X après sa diffusion par un extrémiste blanc.

Willem Gay