Génération augmentée de récupération — Science et données

RAG signifie « Retrieval Augmented Generation » et fait référence à une technique utilisée pour améliorer les performances des grands modèles de langage (LLM) dans certaines tâches en incorporant des capacités de récupération d’informations.

L’idée principale derrière RAG est de combiner les puissantes capacités de génération des LLM avec la capacité de récupérer des informations pertinentes à partir de sources de données externes telles que des sites Web, des bases de données ou des collections de documents.

Voici un aperçu général du fonctionnement de RAG :

Récupération: Étant donné une requête ou un contexte d’entrée, un module de récupération (souvent basé sur des techniques telles que TF-IDF ou des intégrations de vecteurs denses) est utilisé pour identifier et récupérer des documents ou des passages pertinents à partir de sources de données externes.

Augmenter: Les informations pertinentes récupérées sont ensuite augmentées ou concaténées avec l’entrée d’origine pour créer un contexte d’entrée augmenté.

Génération: Ce contexte augmenté est introduit dans un modèle de langage standard, qui peut ensuite générer une réponse de sortie tout en reliant à la fois l’entrée d’origine et les connaissances externes récupérées.

L’étape de récupération permet au LLM d’aller au-delà du simple fait de s’appuyer sur ses connaissances pré-entraînées et d’incorporer des informations à jour et spécifiques à la tâche. Cela peut conduire à de meilleures performances sur les tâches qui nécessitent un accès à des connaissances externes non couvertes par les données originales utilisées dans la formation LLM.

Les modèles RAG ont montré des résultats prometteurs dans des tâches telles que la réponse à des questions en domaine ouvert, la vérification des faits et l’enquête sur les connaissances factuelles par rapport aux LLM classiques sans amélioration du rappel.

David Matos

Les références:

IA générative et LLM pour le traitement du langage naturel

En rapport