ChatGPT a obtenu jusqu’à H1 à l’examen d’informatique Leaving Cert

Le modèle d’intelligence artificielle a répondu correctement à 55 des 62 questions du segment d’examen du test 2021, d’une valeur de 70% de la note Leaving Cert, selon les résultats enregistrés par la doctorante en informatique Joyce Mahon.

“Il y a un élément de choix dans cet examen”, a déclaré Mme Mahon.

“Si seules les meilleures réponses de ChatGPT étaient comptées, il recevrait très près de 100 pc, en fonction du marqueur et de son interprétation des critères de notation. Cela signifie que ChatGPT recevrait un H1, la note la plus élevée possible. Comme l’examen comprend 70 % de la note globale pour cette matière, une note de H3 pourrait potentiellement être obtenue avant même d’envisager la composante de cours du Leaving Certificate d’une valeur de 30 %.”

Une enquête Studyclix.ie menée ce mois-ci auprès de 1 000 élèves de la première à la sixième année a révélé qu’un élève du deuxième niveau sur cinq a utilisé ChatGPT pour des tâches liées à l’école telles que la rédaction de dissertations ou la création de codage informatique.

Alors que certains enseignants ont exprimé leur crainte que ChatGPT ne donne aux élèves des raccourcis qui équivalent à de la triche, Mme Mahon a déclaré que la technologie peut être utile pour faciliter le processus d’apprentissage.

“Les performances des grands modèles de langage sur certaines tâches comme celle-ci sont impressionnantes, et ils s’améliorent constamment”, a-t-elle déclaré. « Dans notre expérience, de nombreuses solutions contenaient plus de détails que ne le prescrit le schéma de notation. Ces modèles présentent également d’autres avantages. Par exemple, ils peuvent fournir aux étudiants et aux éducateurs un nombre illimité d’exemples, d’approches alternatives et d’aide avec le “syndrome de la page blanche”.

Cependant, elle a ajouté que ChatGPT doit être compris comme incluant des erreurs.

“Les modèles d’IA génératifs tels que ChatGPT ne sont pas infaillibles. On nous apprend très tôt à ne pas croire tout ce que nous lisons. Peut-être faudrait-il aussi apprendre aux étudiants d’aujourd’hui à ne pas croire tout ce qu’offre un grand modèle linguistique. Les étudiants des examens traditionnels sont encouragés à revérifier leurs réponses. Il en va de même lorsque vous utilisez ChatGPT. Si quoi que ce soit, c’est une bonne leçon à apprendre pour les étudiants.

Les résultats de la recherche UCD ne doivent pas être interprétés comme suggérant que le Leaving Cert est un processus de test raté, a-t-elle déclaré.

“Le Leaving Certificate est un examen surveillé”, dit-elle. “L’avènement de cette technologie n’est qu’un pas de plus, quoique rapide et important, dans la même direction que celle dans laquelle les humains se dirigent depuis des lustres. De plus, le Leaving Cert Computer Science propose 30pc pour l’évaluation des cours qui est supervisée par leur enseignant. Bien que ChatGPT puisse être utilisé pour cela, la nature de ce travail de projet est beaucoup plus complexe que les questions trouvées sur un examen papier. Il est probable que la technologie est un peu loin de pouvoir faire aussi bien sur ce cours que sur l’examen papier. »

Néanmoins, Mme Joyce a déclaré que la technologie pourrait modifier radicalement la manière dont l’informatique, et la programmation en particulier, est abordée.

“La programmation peut être un défi mental et les progrès, en particulier lors de l’apprentissage, peuvent sembler lents”, a-t-elle déclaré. « L’IA générative peut atténuer ces défis. En fait, les programmeurs professionnels utilisant GitHub Copilot, propulsé par ChatGPT, citent la vitesse, la satisfaction des programmeurs et la conservation de l’énergie mentale parmi les principales raisons pour lesquelles ils l’utilisent.

Mme Joyce a également prédit que “l’ingénierie rapide”, où des invites en langage naturel comme l’anglais plutôt que du code sont saisies, pourrait devenir plus importante.

“L’ingénierie rapide est en train de devenir une nouvelle profession avec des salaires dans la fourchette à six chiffres et l’ingénierie rapide est déjà enseignée aux étudiants”, a-t-elle déclaré.

“La nature de la programmation peut également changer des programmeurs saisissant directement ligne après ligne de code caractère par caractère sur un clavier, à la saisie d’invites dans un modèle d’IA générative comme ChatGPT.”

Le travail de Mme Mahon à l’UCD fait partie du Centre de formation à la recherche en apprentissage automatique de la Science Foundation Ireland et est supervisé par le Dr Brett Becker et le Dr Brian Mac Namee.