Pourrait-on un jour utiliser l’intelligence artificielle pour réviser des articles scientifiques, voire effectuer ce que l’on appelle une révision par les pairs ? Pour l’instant, les premières personnes à avoir été testées sur ce sujet préfèrent les jugements de ChatGPT à ceux de leurs collègues.
Rappelons que cela fait partie intégrante du processus de construction des connaissances scientifiques : que ce soit une découverte présumée, une hypothèse, une affirmation, tout cela doit être étayé par une recherche publiée. Idéalement, cette recherche devrait avoir été révisée par d’autres experts du domaine avant d’être publiée. C’est ce que l’on appelle la “révision par les pairs”.
Cependant, cette méthode présente des limites : il faut trouver des experts capables de comprendre le contenu de la recherche et qui ont le temps pour le faire. Il s’écoule généralement plusieurs mois entre le moment où un chercheur soumet un article à une revue scientifique et sa publication.
Est-ce que ChatGPT pourrait remplacer les réviseurs humains ? C’est ce que des chercheurs dirigés par James Zou, expert en apprentissage machine à l’Université Stanford en Californie, ont voulu tester. Ils ont demandé à ChatGPT-4 de fournir une “critique constructive” de plus de 3000 études publiées entre 2022 et 2023 par une des revues du groupe Nature (donc révisées par des pairs) et de 1700 articles d’une conférence internationale sur l’apprentissage machine. Ils ont comparé les critiques des robots avec celles des humains. Par la suite, ils ont demandé à ChatGPT la même chose pour quelques centaines d’articles qui n’avaient été révisés par personne et ont demandé à environ 300 auteurs (tous spécialisés dans le domaine de l’intelligence artificielle ou de l’informatique) d’évaluer la critique du robot.
Dans le résumé qui a été prépublié le 3 octobre sur le serveur ArXiv (ce qui signifie, ironiquement, qu’il n’a pas été révisé par des pairs), ils écrivent tout d’abord que pour plus de la moitié des textes publiés et pour plus de trois quarts (77%) des textes de la conférence, le robot a signalé les mêmes choses qu’au moins un des réviseurs. Mais le résultat le plus marquant concerne les textes non-publiés et non-révisés : 82% des auteurs ont jugé la critique de ChatGPT plus utile que les critiques reçues par le passé pour d’autres recherches.
Cependant, il y a quelques problèmes importants avec cette étude. Dans la deuxième partie de la recherche, l’évaluation des chercheurs quant à la critique faite par le robot est purement subjective et ne permet pas de comparer avec la critique qu’un être humain aurait pu faire sur le même travail. Quant à la première partie de la recherche, elle offre peu de détails sur les informations que ChatGPT n’a pas réussi à repérer mais qui avaient été signalées par les humains. Il reste à voir si les revues scientifiques pourraient se satisfaire de ces révisions par IA sans avoir l’assurance que le robot n’a pas “oublié” quelque chose d’important, mais ce questionnement se pose également dans la révision par les pairs traditionnelle, qui est loin d’être infaillible.
Abonnez-vous à notre infolettre tentaculaire
#Quand #des #scientifiques #préfèrent #les #jugements #ChatGPT
publish_date] pt]
