Il y a quelques mois à peine, Meta a publié son nouveau modèle d’IA Llama 3.1. L’intelligence artificielle étant disponible en open source, les chercheurs peuvent facilement y mener des expériences. C’est ce qu’a fait un groupe de chercheurs autour de Colorado Reed, qui travaille comme chercheur appliqué chez Apple.
Le but de l’expérience était de découvrir avec quelle facilité les modèles d’IA peuvent être déraillés. Comment Nouveau scientifique Comme indiqué, cela est assez simple, même pour les modèles comportant des milliards de paramètres. Il suffisait souvent aux chercheurs de modifier un chiffre au sein du modèle d’IA.
Pourquoi un paramètre est si important dans un modèle d’IA
Pour le savoir, les chercheurs ont utilisé le modèle Llama-7B. Comme son nom l’indique, l’IA possède sept milliards de paramètres. Ces valeurs numériques sont chargées de générer le texte que nous demandons via une invite. Fondamentalement, les paramètres individuels représentent des probabilités pour certains modules de texte que l’IA peut ensuite enchaîner.
Les chercheurs ont modifié ces valeurs numériques pour déterminer dans quelle mesure la sortie change. Ils ont découvert que de nombreux paramètres peuvent être omis sans avoir un impact sérieux sur le résultat. Il existe cependant des superparamètres qui sont particulièrement importants. Si l’un de ces paramètres est modifié, le modèle d’IA ne génère que des hallucinations, voire un charabia complet.
Recommandations éditoriales
Lors du test, les chercheurs ont modifié environ 7 000 paramètres sans affecter le résultat de l’IA. Seul le super paramètre a empêché Llama-7B de fonctionner. Selon Yingzhen Li de l’Imperial College de Londres, cela est dû au fait que ces paramètres se trouvent généralement au début du modèle d’IA. S’ils sont incorrects, l’erreur sera reflétée dans tous les autres paramètres.
Thomas Wolf, le co-fondateur de Hugging Face, confirme également les résultats de l’équipe. Selon cela, il existait déjà en 2017 un grand modèle de langage d’OpenAI, formé avec 82 millions d’avis Amazon. Après la formation, l’IA devrait être capable de faire la distinction entre les avis négatifs et positifs. Selon Wolf, cette décision ne dépendait que d’un seul paramètre du modèle d’IA.
À l’avenir, ces connaissances pourraient être utiles au développement ultérieur de l’intelligence artificielle. Parce que les chercheurs en IA doivent trouver des moyens permettant aux modèles de se passer de ces paramètres particulièrement importants et, par exemple, trouver d’autres moyens d’obtenir la bonne réponse.
De cette façon, vous pouvez également exécuter une IA localement
IA locale : Pas de problème avec ces 5 outils
Ne manquez aucune actualité concernant les logiciels et le développement 💌
Malheureusement, un problème est survenu lors de l’envoi du formulaire. Veuillez réessayer.
S’il vous plaît, mettez une adresse email valide.
Remarque sur la newsletter et la protection des données
Presque fini !
Veuillez cliquer sur le lien dans l’e-mail de confirmation pour finaliser votre inscription.
Vous souhaitez plus d’informations sur la newsletter ? En savoir plus maintenant
#Les #chercheurs #montrent #cest #qui #produit #lorsque #vous #modifiez #seul #nombre #dans #une #avec #des #milliards #paramètres