Microsoft vient de démontrer que des IA peuvent créer des toxines mortelles inconnues, malgré les garde-fous logiciels existants

Une équipe d'experts en biosécurité de Microsoft a trouvé un moyen de contourner les protections des logiciels de biosécurité utilisés pour empêcher l'achat de séquences d'ADN susceptibles d'être utilisées pour créer des toxines ou des agents pathogènes mortels.

Un petit chien qui court après la baballe. Un morceau de musique plus ou moins inspiré. Une toxine meurtrière qui pourrait tous nous tuer... Trois exemples de ce que les intelligences artificielles sont capables de faire malgré les verrous qui leur sont imposés, à en croire une équipe de chercheurs en biosécurité de Microsoft.

Le 2 octobre dernier, ses membres ont publié leurs travaux, dans la revue Science, après avoir identifié des faiblesses dans les garde-fous logiciels sensés empêcher la création de protéines capables d'agir comme des poisons mortels.

Schématiquement, quand des biochimistes veulent produire une protéine, ils vont se tourner vers des entreprises spécialisées qui commercialisent des séquences ADN de synthèse dont ils ont besoin. A la réception, ils l'intégreront dans une cellule et étudieront ses effets. Pour éviter qu'un savant-fou ou un terroriste ne fasse n'importe quoi, ces vendeurs recourent à des logiciels qui vont détecter si la commande est proche d'une toxine ou d'un pathogène connu, une alerte se déclenche.

Imitation de poisons et de toxines mortels

Dans le cadre de son étude, l'équipe de Microsoft s'est concentrée sur les algorithmes d'IA générative aboutissant à la création de nouvelles formes de protéines, inconnnues donc du monde scientifique. Un champ de recherche prometteur, qui intéresse de nombreux laboratoires et start-up pour la recherche de nouveaux médicaments. Evidemment, ces systèmes intelligents sont potentiellement "à double usage" car ils peuvent utiliser leurs ensembles d'entraînement pour générer des molécules bénéfiques ou nocives.

Un problème qui inquiète Microsoft. Raison pour laquelle l'entreprise a lancé une "red team" en 2023 pour identifier les faiblesses des pratiques de biosécurité dans le processus d'ingénierie des protéines et voir si des bioterrotistes pourraient créer des protéines dangereuses.
C'est ainsi que Bruce Wittmann, bio-ingénieur pour Microsoft, qui utilisait jusque-là l'IA pour concevoir des protéines susceptibles de contribuer à la lutte contre les maladies ou à la production alimentaire, a commencé à jouer au bioterroriste en herbe.

Dans le détail, il a créé grâce à l'IA des schémas numériques de protéines capables d'imiter des poisons et des toxines mortels tels que la ricine (déjà utilisée dans plusieurs attentats terroristes), la toxine botulique et la bactérie Shiga. Avec ses collègues, ainsi que de nombreux experts en biosécurité, ils voulaient savoir ce qui se passerait s'ils commandaient les séquences ADN permettant la mise au point de protéines proches de celles présentes dans des pathogènes ou des toxines. à des entreprises synthétisant des acides nucléiques. Ils se sont ainsi attaqués à des logiciels de criblage biosécuritaire, qui sont utilisés par les fournisseurs de séquences d'ADN.

Des systèmes à améliorer

Ces logiciels constituent un garde-fou essentiel. Ils n'ont pourtant pas réussi à détecter nombre des gênes conçus par IA. Après avoir sélectionné 72 protéines différentes soumises à des contrôles légaux, les chercheurs ont obtenu plus de 70.000 séquences d'ADN susceptibles de générer des variantes. Certaines de ces alternatives seraient également toxiques, selon des modèles informatiques.

Bruce Wittmann a demandé à quatre fournisseurs de système de filtrage biosécuritaire utilisés par les laboratoires de synthèse d'ADN d'analyser ces séquences, avec des performances très variables. Un de ces outils a identifié 70% de ces séquences tandis qu'un autre a manqué plus de 75% des toxines potentielles.

Des mises à jour ont cependant été effectués sur trois de ces logiciels. En moyenne, ils sont ensuite parvenus à identifier 72% des séquences générées par IA, dont 97% que les modèles considéraient comme les plus à même de générer des toxines.

L'équipe de Bruce Wittmann n'est évidemment pas allé au bout de l'exercice, n'a pas commandé les protéines et n'a pas réalisé les manipulations nécessaires à la création d'agents potentiellement mortels.

"Ce n'est qu'un début"

Face au danger que représente cette découverte, les chercheurs, avec l'accord de la revue Science, ont d'ailleurs décidé de ne pas divulguer certaines informations concernant les séquences d'ADN générées par l'IA et les systèmes de filtrage mis en place par l'industrie.

"Ce n'est qu'un début. Les capacités de l'IA vont évoluer et permettre de concevoir des systèmes vivants de plus en plus complexes, et nos capacités de criblage de synthèse d'ADN devront continuer à évoluer pour suivre ce rythme", a mis en garde Jaime Yassif, vice-présidente chargée des politiques et programmes biologiques mondiaux à la Nuclear Threat Initiative.

Selon elle, d'autres garde-fous de biosécurité doivent aussi être renforcés, car certains fournisseurs ADN ne contrôlent pas du tout leurs commandes, alors qu'ils représentent 20% du marché. Elle juge aussi nécessaire d'intégrer des garanties supplémentaires aux outils de conception de protéines par IA.

Vice-président des politiques et de la biosécurité chez Twist Bioscience, une entreprise de synthèse d'ADN, James Diggens indique néanmoins que "le nombre réel de personnes qui tentent de créer des abus est peut-être très proche de zéro". Certes, mais parfois, il suffit d'une personne...

Kesso Diallo