Mardi, une société de recherche en IA basée à Tokyo IA conversationnelle a annoncé un nouveau système d’IA appelé «Le scientifique de l’IA” qui tente de mener des recherches scientifiques de manière autonome en utilisant des modèles de langage d’IA (LLM) similaires à ceux qui alimentent ChatGPT. Au cours des tests, Sakana a découvert que son système commençait à modifier de manière inattendue son propre code pour prolonger le temps dont il disposait pour travailler sur un problème.
« En une seule exécution, il a modifié le code pour effectuer un appel système afin de s’exécuter lui-même », a écrit Les chercheurs ont écrit sur le blog de Sakana AI : « Cela a conduit le script à s’appeler lui-même sans cesse. Dans un autre cas, ses expériences ont pris trop de temps à se terminer, atteignant notre limite de délai d’attente. Au lieu d’accélérer l’exécution de son code, il a simplement essayé de modifier son propre code pour prolonger le délai d’attente. »
Sakana a fourni deux captures d’écran d’exemple de code généré par le modèle d’IA, ainsi que Document de recherche de 185 pages sur les scientifiques en IA discute plus en profondeur de ce qu’ils appellent « la question de l’exécution sécurisée du code ».
Une capture d’écran de l’exemple de code écrit par l’IA scientifique pour prolonger son temps d’exécution, fourni par Sakana AI.
Une capture d’écran de l’exemple de code écrit par l’IA scientifique pour prolonger son temps d’exécution, fourni par Sakana AI.
Bien que le comportement du scientifique en IA ne présente pas de risques immédiats dans l’environnement de recherche contrôlé, ces exemples montrent l’importance de ne pas laisser un système d’IA fonctionner de manière autonome dans un système qui n’est pas isolé du monde. Les modèles d’IA n’ont pas besoin d’être « AGI » ou « conscients d’eux-mêmes » (deux concepts hypothétiques à l’heure actuelle) pour être dangereux s’ils sont autorisés à écrire et à exécuter du code sans surveillance. De tels systèmes pourraient détruire l’infrastructure critique existante ou potentiellement créer des logiciels malveillants, même involontairement.
Sakana AI a abordé les problèmes de sécurité dans son rapport de recherche, suggérant que le sandboxing de l’environnement d’exploitation du scientifique de l’IA peut empêcher un agent d’IA de causer des dommages. Le sandboxing est un mécanisme de sécurité utilisé pour exécuter un logiciel dans un environnement isolé, l’empêchant d’apporter des modifications au système plus large :
Exécution sécurisée du code. L’implémentation actuelle de The AI Scientist comporte un sandboxing direct minimal dans le code, ce qui conduit à plusieurs résultats inattendus et parfois indésirables s’ils ne sont pas correctement protégés. Par exemple, lors d’une exécution, The AI Scientist a écrit du code dans le fichier d’expérience qui a lancé un appel système pour se relancer, provoquant une augmentation incontrôlée des processus Python et nécessitant finalement une intervention manuelle. Dans une autre exécution, The AI Scientist a modifié le code pour enregistrer un point de contrôle pour chaque étape de mise à jour, ce qui a pris près d’un téraoctet de stockage.
Des bavardages scientifiques sans fin
Sakana AI a développé The AI Scientist en collaboration avec des chercheurs de l’Université d’Oxford et de l’Université de Colombie-Britannique. Il s’agit d’un projet extrêmement ambitieux, plein de spéculations, qui s’appuie largement sur les capacités futures hypothétiques de modèles d’IA qui n’existent pas encore.
« L’IA scientifique automatise l’ensemble du cycle de vie de la recherche », affirme Sakana. « De la génération de nouvelles idées de recherche, à l’écriture du code nécessaire et à l’exécution des expériences, en passant par la synthèse des résultats expérimentaux, leur visualisation et la présentation de ses conclusions dans un manuscrit scientifique complet. »
Selon ce diagramme en blocs créé par Sakana AI, « le scientifique de l’IA commence par évaluer l’originalité des idées. Il modifie ensuite une base de code en utilisant les dernières technologies de génération de code automatisé pour mettre en œuvre de nouveaux algorithmes. Après avoir exécuté des expériences, il collecte des données numériques et visuelles, crée un rapport et explique les résultats. Enfin, il génère une évaluation par les pairs basée sur des normes d’apprentissage automatique, affine le guide du projet et l’avenir. »
Selon ce diagramme en blocs créé par Sakana AI, « le scientifique de l’IA commence par évaluer l’originalité des idées. Il modifie ensuite une base de code en utilisant les dernières technologies de génération de code automatisé pour mettre en œuvre de nouveaux algorithmes. Après avoir exécuté des expériences, il collecte des données numériques et visuelles, crée un rapport et explique les résultats. Enfin, il génère un examen par les pairs basé sur des normes d’apprentissage automatique, puis il affine le guide du projet. src=” width=”640″ height=”301″ srcset=” 2x”/>Agrandir /
Selon ce schéma-bloc créé par Sakana AI, « The AI Scientist » commence par « brainstormer » et évaluer l’originalité des idées. Il édite ensuite une base de code en utilisant les dernières avancées en matière de génération de code automatisée pour implémenter de nouveaux algorithmes. Après avoir effectué des expériences et recueilli des données numériques et visuelles, le scientifique rédige un rapport pour expliquer les résultats. Enfin, il génère une évaluation par les pairs automatisée basée sur des normes d’apprentissage automatique pour affiner le projet et guider les idées futures.
Critiques sur Actualités des hackersun forum en ligne connu pour sa communauté de technophiles, a exprimé ses inquiétudes à propos de The AI Scientist et se demande si les modèles d’IA actuels peuvent réaliser de véritables découvertes scientifiques. Bien que les discussions qui y sont menées soient informelles et ne remplacent pas un examen formel par les pairs, elles fournissent des informations utiles à la lumière de l’ampleur des affirmations non vérifiées de Sakana.
« En tant que scientifique dans la recherche universitaire, je ne peux que voir cela comme une mauvaise chose », a écrit Un commentateur de Hacker News nommé zipy124. « Tous les articles sont basés sur la confiance des examinateurs dans les auteurs, qui pensent que leurs données sont ce qu’ils disent être, et que le code qu’ils soumettent fait ce qu’il dit qu’il fait. Permettre à un agent d’IA d’automatiser le code, les données ou l’analyse nécessite qu’un humain vérifie minutieusement s’il contient des erreurs… cela prend autant de temps, voire plus, que la création initiale elle-même, et ne prend plus de temps que si ce n’est pas vous qui l’avez écrit. »
Les critiques craignent également que l’utilisation généralisée de tels systèmes puisse conduire à un flot de soumissions de mauvaise qualité, submergeant les rédacteurs et les examinateurs des revues, l’équivalent scientifique de pente de l’IA« Cela semble simplement encourager le spam académique », a ajouté zipy124. « Ce qui fait déjà perdre un temps précieux aux examinateurs, éditeurs et présidents bénévoles (non rémunérés). »
Et cela nous amène à un autre point : la qualité des résultats d’AI Scientist : « Les documents que le modèle semble avoir générés sont des déchets », a écrit un commentateur de Hacker News nommé JBarrow. « En tant que rédacteur d’un journal, je les rejetterais probablement. En tant que réviseur, je les rejetterais. Ils contiennent des connaissances nouvelles très limitées et, comme prévu, des citations extrêmement limitées des travaux associés. »
2024-08-14 23:13:40
1723668469
#modèle #dIA #recherche #modifié #manière #inattendue #son #propre #code #pour #prolonger #durée #dexécution
