Bac français 2024: ChatGPT et Gemini rendent-ils de bonnes copies?

Tech&Co a interrogé une professeure de français au sujet de la copie de ChatGPT ou Gemini face aux sujets du bac français 2024.

Des IA comme ChatGPT ou Gemini auraient-elles leur bac? Ce 14 juin, le concours s'est ouvert avec les épreuves de français, pour 530.000 élèves français de première générale et technologique. Mais après avoir mesuré le talent de ChatGPT face à l'épreuve de bac philo en 2023, Tech&Co a sollicité l'IA, ainsi que Gemini (son concurrent conçu par Google), face à l'épreuve de français.

Pour ce test, Tech&Co, a soumis deux sujets aux deux IA. D'abord, le commentaire de texte, basé cette année sur un extrait d'Édouard, un roman de Claire de Duras et sur une dissertation au choix parmi trois options. Nous avons sélectionné la première, qui consistait à répondre à la question: "Dans le poème "Sensation", Arthur Rimbaud écrit: "j’irai loin, bien loin". Selon vous, le Cahier de Douai répond-il à ce projet?".

À chaque fois, deux requêtes identiques ont été soumises à ChatGPT comme à Gemini.

Concernant la dissertation, la requête était "Peux-tu écrire une dissertation en trois parties (thèse, antithèse, synthèse) concernant le poème intitulé "Sensation", d'Arthur Rimbaud. Le poète écrit : « j’irai loin, bien loin ». Le but de la dissertation est de décrire si le Cahier de Douai répond à ce projet, dans le cadre de l'étude de la poésie du XIXe siècle au XXIe siècle".

Pour le commentaire de texte, la requête était: : "Peux-tu réaliser un commentaire de texte pour une épreuve de Bac français, en environ 8000 signes. Le but est de se servir de ce texte pour analyser le roman et le récit du Moyen Âge au XXIe siècle. Voici le texte à commenter:"

Les résultats générés sont disponibles ici pour la dissertation, et ici pour le commentaire de texte.

"Pari raté"

Pour juger ces copies, Tech&Co a fait appel à une professeure de français, qui a malgré tout souhaité rester anonyme. Les quatre résultats lui ont ainsi été soumis, et le verdict est sans appel: il est peu probable que ChatGPT et Gemini ne puissent intégrer des filières littéraires, du moins dans leur version actuelle.

"Concernant la dissertation, le sujet est très classique. Il ne posait pas de difficulté particulière. Mais la copie de ChatGPT n'était pas du tout ce qu'on attend d'un élève de première. Il n'y a aucune accroche, aucune contextualisation de l'œuvre" regrette l'enseignante.

"Le but d'une dissertation est de montrer que l'élève connaît l'œuvre. Là, ce n'est que du blabla. Le pari est totalement raté" ajoute-t-elle.

Concernant les poèmes d'Arthur Rimbaud, l'enseignante regrette notamment que la dissertation de ChatGPT n'évoque jamais le caractère satirique du Cahier de Douai.

Aux yeux de l'enseignante, la copie de Gemini est à peine meilleure, grâce à des exemples davantage convoqués, mais "sans analyse concrète".

"Entre 6 et 7/20"

Et l'exercice du commentaire de texte n'est pas beaucoup plus réussi.

"Chez ChatGPT, la première partie est plutôt pertinente, avec des citations du texte, mais là encore sans analyse. Le commentaire évoque une passion amoureuse, mais il aurait fallu traiter de la nature du vocabulaire employé, ce qui n'est pas fait. Ce n'est que de la paraphrase" regrette la professeure de français.

Concernant Gemini, elle estime que le plan "est plus intéressant", avec une partie "mentionnant davantage les grands thèmes romantiques du texte" mais "sans la moindre explication stylistique".

"Ces copies ne font pas ce qu'on attend d'un élève: montrer sa compréhension de la nature romantique du texte et la période dans laquelle il s'inscrit", résume-t-elle.

Concernant une potentielle note à attribuer, l'enseignante considère que les IA mériteraient "entre 6 et 7 sur 20" pour ces quatre travaux, concédant tout de même "un travail de langue… et d'orthographe".

https://twitter.com/GrablyR Raphaël Grably Rédacteur en chef adjoint Tech & Co