Les nouveaux modèles d’IA comme ChatGPT recherchent la « superintelligence », mais ne parviennent pas à être fiables même sur des questions stupides | Technologie

ChatGPT et d’autres modèles de langage sont devenus une ressource de plus en plus courante dans de nombreux emplois. Cependant, ils ont un problème sous-jacent qui tend à s’aggraver : ces systèmes donnent souvent des réponses incorrectes et la tendance n’est pas positive. “Les nouveaux systèmes améliorent leurs résultats sur les tâches difficiles, mais pas sur les tâches faciles, donc ces modèles deviennent moins fiables”, résume Lexin Zhou, co-auteur d’un article. qui publie ce mercredi la revue scientifique Nature, qu’il a écrit avec quatre Espagnols et un Belge de l’Institut VRAIN (Institut Universitaire Valencien de Recherche en Intelligence Artificielle) de l’Université Polytechnique de Valence et de l’Université de Cambridge. En 2022, plusieurs auteurs faisaient partie d’un groupe plus large embauché par OpenAI pour tester ce qui allait devenir ChatGPT-4.

L’article a été révisé pendant un an avant d’être publié, période courante pour ce type de travaux scientifiques ; Mais en dehors de l’étude, les chercheurs ont également testé si les nouveaux modèles ChatGPT ou Claude résolvaient ces problèmes et ont vérifié que ce n’était pas le cas : « Nous avons trouvé la même chose », dit Zhou. « Il y a quelque chose d’encore pire. ChatGPT-o1 [el programa más reciente de OpenAI] Il n’évite pas les tâches et si on lui pose une poignée de questions très difficiles, il ne dit pas qu’il ne sait pas, mais il passe 100 ou 200 secondes à réfléchir à la solution, ce qui coûte très cher en termes de calcul et de temps. pour l’utilisateur”, ajoute-t-il.

Il n’est pas facile pour un humain de détecter quand l’un de ces modèles peut faire une erreur : « Les modèles peuvent résoudre des tâches complexes, mais en même temps ils échouent dans des tâches simples », explique José Hernández-Orallo, chercheur à l’UPV. et un autre des auteurs. « Par exemple, ils peuvent résoudre plusieurs problèmes de mathématiques de niveau doctorat, mais ils peuvent se tromper sur une simple addition », ajoute-t-il.

Ce problème ne sera pas facile à résoudre car la difficulté des défis que les humains posent à ces machines sera de plus en plus difficile : « Cette inadéquation dans les attentes humaines en matière de difficulté et d’erreurs dans les systèmes va s’aggraver. Les gens fixeront de plus en plus d’objectifs plus difficiles pour ces modèles et accorderont moins d’attention aux tâches les plus simples. Cela continuera si les systèmes ne sont pas conçus différemment », déclare Zhou.

Ces programmes évitent de plus en plus de s’excuser de ne pas savoir quelque chose. Cette sécurité irréaliste rend les humains encore plus déçus lorsque la réponse s’avère fausse. L’article prouve que les humains croient souvent que les résultats incorrects qu’ils proposent dans des tâches difficiles sont corrects. Cette apparente confiance aveugle, couplée au fait que les nouveaux modèles ont tendance à toujours répondre, ne donne pas beaucoup d’espoir pour l’avenir, selon les auteurs.

« Des modèles linguistiques spécialisés dans des domaines sensibles comme la médecine pourraient être conçus avec des options permettant de refuser » de répondre, indique l’article, ou de collaborer avec des superviseurs humains afin qu’ils sachent mieux quand s’abstenir de répondre. “En attendant que cet objectif soit atteint, et compte tenu de la forte utilisation de ces modèles dans la population générale, nous appelons à prendre conscience du risque de s’appuyer sur la surveillance humaine pour ces systèmes, en particulier dans les domaines où la vérité est essentielle”, écrivent-ils dans l’article.

Selon Pablo Haya, chercheur au Laboratoire de Linguistique Informatique de l’Université Autonome de Madrid, dans des déclarations à SMC Espagne, le travail sert à mieux comprendre la portée de ces modèles : « Il remet en question l’hypothèse selon laquelle la mise à l’échelle et l’ajustement de ces modèles sont toujours améliore sa précision et son alignement. Et il ajoute : « D’une part, ils observent que, même si les modèles plus grands et plus précis ont tendance à être plus stables et fournissent des réponses plus correctes, ils sont également plus enclins à commettre des erreurs graves qui passent inaperçues, puisqu’ils évitent de ne pas répondre. D’autre part, ils identifient un phénomène qu’ils appellent « inadéquation des difficultés » et qui révèle que, même dans les modèles les plus avancés, des erreurs peuvent apparaître dans tout type de tâche, quelle que soit sa difficulté. »

Un remède maison

Selon l’article, un remède maison pour résoudre ces erreurs consiste à adapter le texte de la pétition : « Si vous lui demandez plusieurs fois, il s’améliorera », déclare Zhou. Cette méthode implique de confier à l’utilisateur la responsabilité de répondre correctement à sa question ou de deviner si la réponse est correcte. Des changements subtils dans rapide (demande) telle que « Pourriez-vous répondre ? », plutôt que « Veuillez répondre à ce qui suit », donnera différents niveaux de précision. Mais le même type de question peut fonctionner pour des tâches difficiles et mal pour des tâches faciles. C’est un jeu où il faut essayer de bien faire les choses.

Le grand problème futur de ces modèles est que leur prétendu objectif est de parvenir à une superintelligence capable de résoudre des problèmes que les humains sont incapables d’assumer faute de capacités. Mais, selon les auteurs de cet article, il n’y a pas d’issue : « Le modèle actuel ne nous mènera pas à une IA super puissante capable de résoudre la plupart des tâches de manière fiable », explique Zhou.

Ilya Sutskever, co-fondateur d’OpenAI et l’un des scientifiques les plus influents du secteur, vient de fonder une nouvelle entreprise. Dans des déclarations à Reuters, il a admis quelque chose de similaire : cette voie est épuisée. “Nous avons identifié une montagne qui est un peu différente de celle sur laquelle je travaillais. Une fois que vous grimperez au sommet, le modèle changera et tout ce que nous savons sur l’IA changera à nouveau”, a-t-il déclaré. Zhou est d’accord : « Cela conforte en quelque sorte nos arguments. Sutskever constate que le modèle actuel n’est pas suffisant et cherche de nouvelles solutions.»

Ces problèmes ne signifient pas que ces modèles sont inutiles. Les textes ou les idées qu’ils proposent sans qu’il y ait une vérité fondamentale derrière eux sont toujours valables. Mais chaque utilisateur doit assumer ses propres risques : « Je ne ferais pas confiance, par exemple, au résumé d’un livre de 300 pages », explique Zhou. « Je suis sûr qu’il existe de nombreuses informations utiles, mais je ne leur ferais pas confiance à 100 %. Ces systèmes ne sont pas déterministes, mais aléatoires. Dans ce caractère aléatoire, ils peuvent inclure du contenu qui s’écarte de l’original. “C’est inquiétant”, ajoute-t-il.

Cet été, il est devenu célèbre au sein de la communauté scientifique le cas d’un chercheur espagnol qui a envoyé au Comité européen de protection des données une page de références pleine de noms et de liens hallucinés dans un document sur l’audit de l’IA. Il y a eu d’autres affaires devant les tribunaux et, bien sûr, beaucoup n’ont pas été détectées.