Rag correctif (Crag) – Amélioration de la génération de réponses dans l’IA générative – science et données

Les modèles de grands langues (LLM) ont révolutionné l’IA génératif, mais souffrent toujours d’hallucinations – des réponses incorrectes en fait générées en raison de limites de connaissances stockées dans les paramètres du modèle.

Pour atténuer ce problème, la méthode de production de génération (RAG ou de génération de récupération accrue), qui intègre des mécanismes de recherche d’informations externes au processus de génération. En substance, RAG permet au modèle d’obtenir des données pertinentes à partir de connaissances ou de bases de documents, ce qui rend les réponses plus précises, mises à jour et contextuelles.

Cependant, le chiffon traditionnel suppose que les documents récupérés sont pertinents et corrects. Si la récupération apporte un contenu non pertinent ou trompeur, le modèle peut finir par générer des réponses incorrectes car elle fait aveuglément confiance dans ces documents. Cette dépendance soulève la préoccupation: que se passe-t-il si l’étape de recherche échoue?

C’est dans ce contexte que la génération de la génération et la traduction gratuite de la génération et de la traduction gratuite de la génération et de la traduction gratuite de la génération de la traduction gratuite est dans ce contexte. Crag est une stratégie avancée dans l’univers des possibilités de chiffon qui se concentre sur l’amélioration de la précision et de la pertinence des réponses incorporant des mécanismes d’auto-évaluation et la correction des documents récupérés. Contrairement à RAG traditionnel, Crag vérifie activement la pertinence et la précision des sources avant de générer la réponse, de raffiner ou de compléter la recherche si nécessaire. En d’autres termes, Crag ajoute une couche «corrective» au processus de génération: il identifie des erreurs ou des lacunes possibles dans l’étape de récupération et les résout de manière proactive, ce qui rend la génération de texte finale beaucoup plus robuste et fiable.

Comment fonctionne la crag?

Bien que le fonctionnement interne de Crag implique des techniques avancées, nous pouvons le comprendre simplifié dans certaines étapes. L’objectif central est de s’assurer que le modèle n’utilise que des informations fiables et pertinentes lors de la réponse en corrigeant le cours si nécessaire. Ensuite, nous décrivons l’étape par étape de l’écoulement de la crag:

Récupération initiale du document: Le processus commence de manière similaire au chiffon traditionnel. Compte tenu d’une question ou d’une consultation utilisateur, le système effectue une recherche initiale sur une base de connaissances statique (par exemple, un index de documents interne) et récupère des documents potentiellement pertinents liés à la consultation. Cette étape fournit un contexte initial défini pour l’utiliser dans la génération de réponse.

Évaluation de la pertinence: Au lieu de s’appuyer immédiatement sur ces documents, Crag utilise un évaluateur de récupération légers – un composant dont la fonction est d’analyser la qualité et la pertinence des documents récupérés. Cet évaluateur peut attribuer un score de confiance ou classer chaque document en catégories telles que «pertinentes», «non pertinentes» ou «ambiguës». Sur la base de cette évaluation, le système décide comment procéder. Par exemple, si une proportion importante des documents est considérée comme hors de propos (par exemple, plus de 70%), Crag interprète cela comme un signe que la recherche initiale n’a pas réussi à réaliser correctement la consultation et déclenche des mesures correctives. Sinon, si les documents récupérés sont principalement pertinents, le processus continue pour la génération de la réponse en utilisant ce matériel.

Recherche supplémentaire corrective: Si l’évaluateur indique que les documents initiaux sont insuffisants ou peu fiables, Crag effectue des recherches supplémentaires pour compléter ou corriger l’ensemble des connaissances. À ce stade, le système peut reformuler la question initiale (requête) pour la rendre plus alignée sur une recherche efficace. Par exemple, il peut ajouter des mots clés ou un contexte à la consultation afin d’améliorer la qualité des résultats de recherche. Ensuite, Crag effectue une recherche large, utilisant souvent des sources externes ou grandes, comme une recherche Web, pour mettre à jour et diverses informations. Cette étape corrective garantit que si la base de connaissances locale est incomplète ou limitée, le système peut toujours obtenir des données pertinentes provenant d’autres sources. Le résultat est un ensemble élargi de preuves, peut-être plus pertinente pour la question initiale.

Filtrage et raffinement des informations: En possession d’un ensemble de documents (initiale et éventuellement la recherche supplémentaire), Crag applique un processus de raffinement avant de générer la réponse finale. Cela implique de filtrer le contenu non pertinent et de mettre en évidence les informations clés dans les documents obtenus. Une technique utilisée est connue sous le nom de «décomposition de la réflexion» (décomposition et recomposition): les documents récupérés sont divisés en étirements plus petits, ou «bandes de connaissances», qui sont ensuite évaluées individuellement. Les extraits considérés comme non liés ou redondants sont jetés, tandis que les éléments pertinents sont maintenus. Ensuite, le système récompense les fragments sans bruit essentiels, formant un contexte cohérent et concis pour le modèle générant la réponse. Ce raffinement garantit que le modèle se concentre uniquement sur le contenu qui compte vraiment, réduisant la possibilité de s’écarter à des informations incorrectes.

Génération de réponse: Enfin, avec un contexte propre, fiable et enrichi en main, le modèle génératif (LLM) produit la réponse à l’utilisateur. À ce stade, le LLM utilise exclusivement (ou donne la priorité a) les informations filtrées et validées dans les étapes précédentes. En conséquence, la réponse générée a tendance à être cohérente avec les sources vérifiées, factuellement correctes et contextualisées.

Crag agit comme un cycle de rétroaction dans le pipeline de génération: si quelque chose manque ou ne va pas avec les données de support, le système est auto-associe avant de fournir la réponse finale, augmentant la qualité et la robustesse de la génération de texte et la réduction des chances d’hallucinations du modèle général de l’IA.

Dans le prochain article, nous verrons les cas d’utilisation du chiffon correctif (crag).

David Matos

Références:

Génération augmentée de récupération corrective

Infrastructure de données, agents d’IA et d’IA avec des databricks

En rapport