Quelles sont les hallucinations des LLM, comment se produisent-elles et comment les minimiser? – Science et données

Les hallucinations de modèles de grands langues (LLM) se réfèrent à la génération de réponses inexactes, irréalistes ou fabriquées par ces modèles, même lorsqu’ils sont présentés de manière convaincante.

Ces hallucinations se produisent parce que les LLM n’ont pas une réelle compréhension du monde; Ils ne prévoient que le mot suivant basé sur des modèles statistiques extraits de grands volumes de texte.

Pourquoi les hallucinations se produisent-elles?

Manque de vérification des faits – les LLMS génèrent des réponses basées sur des corrélations linguistiques, mais n’ont pas accès direct aux bases de données mises à jour ou aux mécanismes de vérification de la véracité.

Données de formation incomplètes ou obsolètes – Si le modèle n’a pas été formé avec des informations spécifiques ou récentes, elle peut combler les lacunes avec de mauvaises inférences.

Tendance à compléter les réponses – Lorsqu’une question n’a pas de réponse claire, le modèle peut «inventer» une réponse pour maintenir la fluidité du dialogue.

L’éclat aux normes statistiques peut générer des déclarations qui semblent plausibles, mais sont statistiquement incorrectes car elles sont basées sur des modèles de langage communs sans considérer la précision logique ou factuelle.

Contexte mal interprété – Si l’invite de l’utilisateur est ambigu ou que la réponse nécessite une compréhension approfondie du contexte, la LLM peut extrapoler incorrectement.

Comment minimiser les hallucinations?

L’utilisation d’outils de vérification – la combinaison de LLM avec des systèmes externes tels que les API de recherche ou les bases de données fiables peut réduire les chances de mauvaises réponses.

RAG – L’utilisation de données sur un sujet particulier et complétant le contexte à LLM peut réduire le problème des hallucinations.

Le réglage fin pour des modèles spécifiques formés par des domaines pour des applications spécialisées a tendance à faire moins d’erreurs.

Ingénierie rapide – des invites plus spécifiques et structurées peuvent réduire l’ambiguïté et minimiser la génération de réponses inexactes.

Les humains humains dans la boucle en vigueur pour revoir et valider les réponses générées par LLM sont essentielles dans les applications critiques.

Agents AI – Un agent d’IA est essentiellement un LLM avec des outils. Nous pouvons construire un système multi-âge où un agent aide à réduire les limites (et les hallucinations) d’autres AGNS.

Les hallucinations sont un défi clé dans l’utilisation des LLM, en particulier dans des domaines tels que la santé, le droit et les finances, où la précision et la fiabilité sont essentielles. L’atténuation de ces échecs implique le développement de techniques hybrides qui combinent des mécanismes de validation externes.

Il y a beaucoup d’efforts dans le monde pour réduire les hallucinations des LLM et nous espérons voir l’évolution des techniques dans les années à venir.

David Matos

En rapport