L’excès de mots comme « louable » et « méticuleux » suggère l’utilisation de ChatGPT dans des milliers d’études scientifiques | Technologie

Le bibliothécaire Andrew Gray a fait une découverte « très surprenante ». Il a analysé cinq millions d’études scientifiques publiées l’année dernière et a détecté un pic soudain dans l’utilisation de certains mots, comme méticuleusement (en hausse de 137%), complexe (117%), louable (83%) et méticuleux (59%), dans leurs versions anglaises. Gray, de l’University College London, ne peut trouver qu’une seule explication : des dizaines de milliers de chercheurs utilisent ChatGPT – ou d’autres programmes similaires de génération de langage dotés d’intelligence artificielle – pour rédiger leurs études ou au moins les « peaufiner ».

Il existe des exemples flagrants. Une équipe de scientifiques chinois a publié le 17 février étude sur des piles au lithium. L’ouvrage, publié dans une revue spécialisée des éditions Elsevier, commençait ainsi : « Bien sûr, voici une introduction possible à votre sujet : les batteries au lithium sont des candidates prometteuses pour… ». Les auteurs ont apparemment demandé une introduction à ChatGPT et l’ont copiée telle quelle. Autre article dans une autre revue d’Elsevier, signée par des chercheurs israéliens le 8 mars, comprend le texte : « En résumé, la gestion des blessures iatrogènes bilatérales, je suis désolé, mais je n’ai pas accès à des informations en temps réel ni à des données spécifiques au patient, car Je suis un modèle de langage d’intelligence artificielle. Et il y a quelques mois, trois scientifiques chinois ont publié le dessin délirant d’un rat doté d’une sorte de pénis géant, une image générée par l’intelligence artificielle pour étude sur les cellules précurseurs du sperme.

Andrew Gray estime qu’au moins 60 000 études scientifiques (plus de 1 % de celles analysées en 2023) ont été rédigées avec l’aide de ChatGPT — un outil lancé fin 2022 — ou similaire. “Je pense que les cas extrêmes où quelqu’un écrit une étude entière avec ChatGPT sont rares”, déclare Gray, un bibliothécaire écossais de 41 ans. Selon lui, dans la plupart des cas, l’intelligence artificielle est utilisée de manière appropriée pour « peaufiner » le texte – identifier les fautes de frappe ou faciliter la traduction en anglais – mais il existe une grande échelle de gris, dans laquelle certains scientifiques profitent davantage de l’aide de ChatGPT, sans vérifier les résultats. “Pour l’instant, il est impossible de savoir quelle est l’ampleur de cette zone grise, car les revues scientifiques n’exigent pas des auteurs qu’ils déclarent l’utilisation de ChatGPT, il y a très peu de transparence”, déplore-t-il.

Les modèles linguistiques de l’intelligence artificielle utilisent certains mots de manière disproportionnée, comme l’a montré l’équipe. James Zou, de l’Université de Stanford (États-Unis). Il s’agit généralement de termes ayant des connotations positives, telles que louable, méticuleux, complexe, innovant et polyvalent. Zou et ses collègues ont averti en mars que les examinateurs d’études scientifiques eux-mêmes utilisent ces programmes pour rédiger leurs évaluations, avant la publication des travaux. Le groupe de Stanford a analysé les revues d’études présentées lors de deux conférences internationales sur l’intelligence artificielle et a constaté que la probabilité que le mot méticuleux apparaisse avait diminué. multiplié par 35.

L’équipe de Zou n’a en revanche pas détecté de traces significatives de ChatGPT dans les corrections apportées dans les prestigieuses revues du groupe Nature. L’utilisation de ChatGPT était associée à des avis de moins bonne qualité. «Je trouve cela vraiment inquiétant», explique Gray. « Si nous savons que l’utilisation de ces outils pour rédiger des critiques produit des résultats de moindre qualité, nous devons réfléchir à la manière dont ils sont utilisés pour rédiger des études et à ce que cela implique », explique la bibliothécaire de l’University College London. Un an après le lancement de ChatGPT, un scientifique sur trois a reconnu qu’il l’utilisait pour rédiger ses études, selon une enquête du magazine Nature.

L’analyse de Gray montre que le mot complexe est apparu dans 109 000 études en 2023, soit plus du double de la moyenne de 50 000 des années précédentes. Le terme est méticuleusement passé d’environ 12 300 emplois en 2022 à plus de 28 000 en 2023. Heureusement, de 6 500 à près de 12 000. Le chercheur plaisante en disant que ses collègues l’ont félicité pour la minutie de son rapport, même si une gomme en attente de publication dans une revue spécialisée.

Très peu d’études font état de l’utilisation de l’intelligence artificielle dans sa préparation. Gray prévient qu’un « cercle vicieux » peut être généré, dans lequel les versions ultérieures de ChatGPT sont entraînées avec des articles scientifiques rédigés par les anciennes versions, donnant lieu à des études de plus en plus louables, complexes, méticuleuses et, surtout, sans substance.

Le professeur de documentation Angel María Delgado Vázquez souligne le point de vue anglo-saxon de la nouvelle analyse. “Les chercheurs qui ne parlent pas l’anglais comme langue maternelle utilisent beaucoup ChatGPT, comme aide à l’écriture et pour améliorer la langue anglaise”, explique le chercheur de l’Université Pablo de Olavide, à Séville. « Dans mon environnement, les gens utilisent ChatGPT principalement pour une première traduction, voire pour conserver directement cette traduction », précise-t-il. Le professeur espagnol manque une analyse sur l’origine des auteurs qui utilisent des termes inhabituels.

Un autre des mots préférés de l’intelligence artificielle en anglais est creuser (enquêter ou approfondir). L’enquêteur Jérémy Nguyende l’Université de technologie de Swinburne (Australie), a calculé que creuser apparaît déjà de plus de 0,5% des études de médecine, alors qu’avant ChatGPT il n’atteignait pas 0,04%. Ils sont des milliers d’auteurs qui soudainement enquêtent ou approfondissent. Si vous demandez à la version espagnole de ChatGPT 3.5 quels mots elle utilise plus souvent que d’habitude, elle répond avec des exemples tels que complexe, détaillé, louable et prudent.

Le bibliothécaire Andrew Gray met en garde contre le risque que l’humanité soit infectée par ce nouveau langage méticuleusement artificiel. Nguyen lui-même Il a été reconnu sur le réseau social Le 8 avril, le compte officiel ChatGPT sur X est entré dans le chiffon: “J’aime aller plus loin, qu’est-ce que je vais faire ?”

Vous pouvez suivre MATÉRIEL dans Facebook, X e Instagramcliquez ici pour recevoir notre newsletter hebdomadaire.