ChatGPT, Gemini... Quelle est la meilleure IA pour résumer des documents

Le 16/06/2024 à 07h38

Depuis la sortie de ChatGPT fin 2022, plusieurs chatbots ont été lancés. Tech&Co a testé les principaux pour déterminer le meilleur dans une tâche: résumer des documents.

Lancé en novembre 2022, ChatGPT a bouleversé le monde. Ce chatbot est capable de répondre à de nombreuses questions et de générer divers types de contenus. Depuis, OpenAI, son créateur, l’a amélioré, mais elle n’est pas la seule entreprise sur ce marché.

Gemini, Copilot, Claude... plusieurs outils ont été développés pour le concurrencer. Mais seuls quelques-uns sont capables de résumer des documents. Entre ChatGPT, Claude, Copilot, Gemini, et Le Chat, qui sont les plus connus, seulement les trois premiers permettent de le faire gratuitement tandis qu'il faut payer pour le quatrième (qui propose cependant une offre gratuite d'essai de 2 mois). Tech&Co les a testés pour déterminer le meilleur.

· ChatGPT

ChatGPT est capable de résumer des documents depuis peu, grâce au modèle GPT-4o dévoilé en mai. Pour tester cette capacité, Tech&Co lui a soumis une étude de 30 pages sur la perception des réseaux sociaux en France.

Si l’IA a été très rapide pour générer un bon résumé, celui-ci contient quelques erreurs et incohérences. Pour commencer, ChatGPT affirme que "les jeunes (15-24 ans) sont les plus grands utilisateurs (46,6%), tandis que l’utilisation décroît avec l’âge". Ce chiffre n’est pourtant mentionné à aucun moment dans l’étude, pour laquelle uniquement des Français âgés d’au moins 18 ans ont été interrogés.

Il assure également que "6 Français sur 10 estiment que l’Etat ne fait pas assez pour réguler les réseaux sociaux" alors que l’étude parle de 57%. On n'est pas loin du compte mais pas forcément dans la précision.

On regrette également que le chatbot, qui présente sa synthèse en huit parties, répète un chiffre de l'étude dans deux parties différentes: "Opinions sur les réseaux sociaux" et "Régulation des réseaux sociaux". Ce chiffre concerne le nombre de Français estimant que les dangers des réseaux sociaux ne sont pas assez pris en compte. Il est présenté sous deux formes différentes alors qu'il aurait été mieux de le citer qu'une fois dans une seule et même partie sur les opinions des Français sur les réseaux sociaux.

· Claude

L’IA d’Anthropic a fourni l’un des meilleurs résumés, abordant presque tous les points importants de l’étude avec cohérence et sans erreurs. Elle commence par évoquer la perception globalement négative des réseaux sociaux en France pour finir par l’appel à une régulation plus forte de la part des pouvoirs publics, tout en mentionnant les plateformes perçues comme positives ou négatives par les Français ou encore le fait que 50% préfèreraient vivre dans un monde où ces dernières n’existent pas.

On regrette néanmoins que Claude se répète dans son résumé, mentionnant à deux reprises que les Français demandent une régulation plus forte des réseaux sociaux.

· Copilot

Pour que Copilot génère un résumé d’un document, il est nécessaire d’utiliser le navigateur Microsoft Edge. Il faut ensuite ouvrir le document en question dans le navigateur pour que le chatbot de Microsoft le synthétise.

Malheureusement, avec la version gratuite, le résumé obtenu de l’étude n’était pas de bonne qualité. Court par rapport aux deux autres IA, il est présenté en quatre points, dont le premier est consacré à Destin Commun, le think tank à l’origine du sondage. S’il précise que "les Français ont une vision majoritairement négative des réseaux sociaux", les autres points importants de l’étude ne sont pas abordés.

Copilot mentionne seulement que les Français préfèrent le modèle originel des réseaux sociaux et demande une régulation plus stricte.

· Gemini

L’importation de documents pour obtenir un résumé est une nouveauté de Gemini. Google l’a déployé le 14 mai, à l’occasion de sa conférence annuelle des développeurs. L’IA de l’entreprise est la seule à avoir abordé tous les points importants de l’étude, notamment le fait que les Français s’inquiètent de l’impact des réseaux sociaux sur la démocratie.

Un point important, surtout au vu du prix mensuel pour profiter de cette capacité. Gemini finit également son résumé en beauté en évoquant le "contraste frappant" de l’étude, à savoir le fait qu’un Français sur deux préfèrerait vivre dans un monde sans réseaux sociaux, contre seulement un sur quatre dans un monde sans smartphone.

Conclusion

La meilleure IA pour résumer des documents semble être Gemini. On regrette cependant qu'il soit nécessaire de payer pour accéder à cette fonctionnalité pour l'IA de Google. La formule payante, Gemini Advanced, qui inclut plusieurs fonctionnalités exclusives, coûte en effet 21,99 euros par mois. Si ChatGPT et Claude s'en sont plutôt bien sortis, leurs erreurs et incohérences rappellent qu'il est nécessaire de vérifier les contenus générés par les IA, car elles peuvent produire de fausses informations.

Kesso Diallo