"Pic de données": pour Elon Musk, les IA n'ont plus rien sur quoi s'entrainer

Le milliardaire et entrepreneur Elon Musk pense que l'IA a déjà épuisé la quasi-totalité de ce qu'il y avait à utiliser.

Une intelligence artificielle "épuisée". Lors d'un entretien diffusé sur X mercredi 8 janvier, Elon Musk s'est exprimé sur l'intelligence artificielle générative, qui a besoin de données pour continuer à apprendre. Pour le milliardaire cependant, ces IA ont déjà très largement écumé les données disponibles, au point qu'il n'y aurait quasiment plus rien à disposition.

"Nous avons maintenant épuisé la somme cumulative des connaissances humaines dans la formation des IA," explique-t-il. Un épuisement intervenu dans le courant de l'année 2024.

Le risque d'un vase clos

Pour Elon Musk, il va désormais falloir se baser sur les données générées par ces modèles d'IA, comme Grok ou ChatGPT: "La seule façon de compléter les données du monde réel est d'utiliser des données synthétiques créées par des IA."

L'objectif n'est pas de créer un vase clos, mais plutôt de faire en sorte que le modèle se note sur lui-même, et ainsi passer à un processus d'auto-apprentissage.

Le risque, c'est que l'IA consomme des données synthétiques erronées ou biaisées, et viennent ensuite donner un résultat qui l'est tout autant. Mais les principales entreprises du domaine n'ont pas attendu les déclarations d'Elon Musk pour commencer à travailler sur des données synthétiques. Selon le cabinet Gartner, 60% des données utilisées ont déjà été générées par une IA.

De fait, il n'est pas étonnant de voir que Microsoft a lancé Phi-4, un modèle open source entièrement basé sur des données synthétiques. Pour certains experts, le développement par ce biais, s'il comporte des risques, est beaucoup moins coûteux, notamment lorsqu'il s'agit de lier des partenariats avec des médias pour accéder à des articles payants.

Sylvain Trinel