Au cours des derniers mois, les gros titres ont fait la une des journaux sur les modèles d’IA dotés de capacités mathématiques étonnantes – entre autres, les artistes en calcul du silicium ont remporté une médaille d’argent aux Jeux olympiques de mathématiques. Également d’autres ensembles de données présentant des problèmes, notamment MATHÉMATIQUES et GSM8K programmes d’IA maîtrisés. Mais voilà qu’Epoch AI, une association d’experts travaillant sur le développement de l’intelligence artificielle, a a présenté un résultat qui donne à réfléchir: Les principaux programmes d’IA, notamment GPT-4o et Claude 3.5 Sonnet, ont été capables de résoudre moins de deux pour cent d’un ensemble difficile de problèmes mathématiques, même avec accès à des interfaces de programmation pour tester leurs résultats.
Plus de 60 mathématiciens issus des plus grandes universités ont conçu des centaines de tâches, qu’ils ont collectés dans un ensemble de données appelé « FrontierMath ».. Les tâches couvrent différents domaines mathématiques, de la théorie des nombres à la géométrie algébrique. «Ils sont extrêmement exigeants» a déclaré le célèbre mathématicien Terence Taoqui détient l’une des plus hautes distinctions dans le domaine, la médaille Fields. “Je pense que les modèles d’IA devront s’en occuper pendant encore quelques années.” Contrairement à des ensembles de données similaires, FrontierMath ne sera pas publié.
Les compétitions comme l’Olympiade de mathématiques « ne s’appuient pas sur des connaissances trop spécialisées », explique le mathématicien Evan Chen sur son blog. Les tâches sont généralement conçues de telle manière que vous avez besoin d’une idée créative pour les résoudre. Les calculs eux-mêmes ne sont généralement pas très approfondis ni techniquement exigeants. Les deux derniers points sont différents avec les problèmes de FrontierMath, explique-t-il. “Les tâches testent également des idées plutôt que des techniques ou des connaissances standard, mais elles supposent également que le sujet a accès à une console Python et à de nombreux textes de référence.”
#Des #tâches #mathématiques #secrètes #embarrassent #les #modèles #dIA