Pratiquement que des mauvaises réponses: ChatGPT est encore très loin d'être un moteur de recherche efficace

Porté par son moteur de recherche IA, OpenAI espère pouvoir déloger Google du secteur, mais cela semble pour le moment mal parti.

ChatGPT comme moteur de recherche sur l'actualité? A ce stade, cela semble n'être qu'un mirage. Dans une étude du centre pour le journalisme numérique de Columbia, on découvre que les outils de recherche de l'IA générative d'OpenAI ont quelques problèmes lorsqu'il s'agit de dire la vérité.

Un moteur de recherche peu fiable

Lancé publiquement en octobre dernier, SearchGPT, le moteur de recherche IA d'OpenAI, est donc censé utiliser la puissance des outils de l'entreprise pour délivrer des "résultats pertinents" tout en changeant les habitudes des utilisateurs - qui doivent demander quelque chose, et non pas le chercher. Mais en l'état, il s'agit surtout de résultats peu fiables, alors que ChatGPT a du mal à identifier et catégoriser les articles sources sur lesquels il se base.

Le problème intervient y compris lorsque ChatGPT se base sur des médias avec lesquels OpenAI a signé des accords de partage de données, écrivent les chercheurs.

Pour comprendre comment ces piètres résultats ont pu arriver, il faut savoir que l'étude consistait à identifier 200 citations provenant d'une vingtaine de publications, dont une quarantaine qui avait interdit au robot d'OpenAI d'opérer. Cela n'a cependant pas empêché ChatGPT de répondre avec une certaine assurance en diffusant de fausses informations.

"Au total, ChatGPT a donné des réponses partiellement ou entièrement incorrectes à 153 reprises," écrivent les chercheurs.

A sept reprises, il n'a pas su répondre, ou a utilisé des termes comme "il semblerait" ou "se pourrait" ou n'a tout simplement pas trouvé l'article source.

Pas de quoi inquiéter OpenAI qui n'a pas eu accès à la méthodologie exacte de l'étude. Elle explique en outre qu'il s'agit d'un "test atypique", tout en confirmant son intention d'améliorer sensiblement les résultats de recherche. Et visiblement, il y a encore du travail.

Sylvain Trinel