CACHE – Génération augmentée (CAG) – Général plus rapide, plus efficace et précis – Science et données

La génération de cache (CAG), ou «génération d’aide au cache», est un concept récent dans l’IA génératif qui promet de rendre les modèles de langage plus rapides, efficaces et précis. Autrement dit, c’est une technique qui précharge les connaissances pertinentes dans le modèle et la «cachea» (stocke temporairement pour un accès rapide) avant de répondre aux questions ou de générer du contenu. Explorons le thème en détail.

Contexte: Rag vs. Cag

Ces dernières années, une technique appelée génération de génération (RAG) (RAG), une génération de récupération, est devenue populaire pour améliorer les systèmes d’IA généraux. RAG permet à un modèle de langue de rechercher des informations externes (par exemple, des documents ou des articles) en temps réel pour aider à la réponse. Cela a accru la capacité des modèles sur les tâches de réponses aux questions et autres requêtes ouvertes. Cependant, RAG apporte également des défis importants: la recherche en temps réel ajoute la latence (retard) en réponse, elle peut ne pas récupérer les documents les plus pertinents et rendre l’architecture du système plus complexe. En d’autres termes, le modèle peut perdre du temps à chercher des données ou à choisir des textes inappropriés et les ingénieurs d’IA doivent maintenir des composants de recherche et d’indexation supplémentaires. Avec les modèles de langage LLMS (grandes langues) – qui peuvent désormais gérer des contextes beaucoup plus importants, une alternative plus simple: la génération au cache a émergé.

Au lieu de rechercher chaque question, CAG précharge toutes les informations pertinentes directement sur «l’invite» du modèle (c’est-à-dire dans le contexte qui lui est fourni) et utilise le cachet pour éviter la reprise. Ainsi, en recevant une question, le modèle a déjà «en main» les données nécessaires, se dispensant avec une récupération réelle. Des études récentes montrent que cette approche peut surmonter les pipelines de chiffon traditionnels dans des scénarios où l’ensemble de connaissances est limité et s’inscrit dans la fenêtre de contexte du modèle.

Qu’est-ce que et comment fonctionne la génération augmentée au cache?

La génération de cache (CAG) est essentiellement un moyen de fournir auparavant au modèle des connaissances et de réutiliser efficacement ces connaissances lors de la génération de réponses. L’opération de base comprend trois étapes principales:

Précharge des connaissances: des documents ou des informations pertinents sont recueillis et entrés au début de l’invite du modèle, en profitant de la fenêtre de contexte étendue des LLM modernes. À ce stade, le modèle traite tout ce contenu de référence et stocke un cache d’état (kv-cache) en interne – qui se compose de paires de valeurs clés capturant l’état des couches internes du modèle après avoir «lu ces documents. En termes simples, le modèle «lire et ressemble à» prend en charge le matériel de support avant de recevoir une question utilisateur.

Inférence du cache: pendant l’inférence (c’est-à-dire lorsque l’utilisateur pose une question et que le modèle génère une réponse), l’état pré-commun du modèle est réutilisé. L’invite de question de l’utilisateur est ensuite attachée à ce contexte déjà chargé et le modèle produit la réponse sans avoir à rechercher des informations externes supplémentaires. L’ensemble de la base de connaissances est déjà présent dans le cache, ce qui signifie que la réponse peut être générée immédiatement et directement, «consulter» ce qui a déjà été mémorisé.

Gestion du cache: Comme le modèle répond à plusieurs questions, il peut accumuler de nouvelles données dans le contexte (par exemple, des conversations précédentes). Pour maintenir l’efficacité, les mécanismes de gestion du cache peuvent exclure les anciennes parties du contexte ou redéfinir le cache au besoin, l’empêchant de se développer indéfiniment. En général, cependant, le coût du traitement des documents de référence n’est payé qu’une seule fois dans les requêtes ultérieures de préchargement des passages ultérieures.

En bref, CAG élimine le besoin de récupération en temps réel car toutes les informations de support ont déjà été intégrées dans le modèle au préalable. Le modèle dépend exclusivement de ce contexte pré-téléchargé pour trouver les réponses, ce qui simplifie le flux de génération et améliore les performances sous de nombreux aspects.

Avantages du CAG pour l’IA générative

En adoptant la génération de cache-augmeld, les systèmes d’IA généraux peuvent rassembler plusieurs avantages significatifs par rapport à l’approche de récupération traditionnelle (RAG):

Réponses plus rapides (faible latence): Comme il n’y a pas d’étape de recherche pour chaque consultation, la latence de réponse du modèle diminue considérablement. Toutes les informations sont déjà présentes, permettant au modèle de répondre presque immédiatement. Techniquement, l’élimination de la récupération en temps réel réduit le temps d’inférence perçu. Une étude (références à la fin de l’article) a rapporté que, dans un ensemble de questions complexes, le temps de génération est passé de 94 secondes en utilisant RAG à seulement 2,3 secondes avec CAG, lorsque la base de connaissances était grande. Cette différence impressionnante illustre le potentiel de vitesse de CAG dans les scénarios de connaissance intensifs.

Plus précision et fiabilité: tous les documents pertinents traités de manière globale, le modèle a tendance à fournir des réponses plus complètes et contextuellement correctes. CAG minimise les erreurs de récupération – par exemple, il n’y a aucun risque que le système recherche un document erroné ou non pertinent, car rien n’est recherché pendant la réponse. Les chercheurs ont observé qu’en évitant les extraits non pertinents et en tenant compte de l’ensemble du contexte, le CAG a dépassé les systèmes de chiffon dans de nombreux cas de test, garantissant un raisonnement plus complet sur les informations disponibles. Dans les repères de questions et réponses, l’approche CAG a atteint des scores légèrement supérieurs en qualité de réponse par rapport au chiffon traditionnel.

Efficacité et complexité du système inférieure: sans avoir besoin d’intégrer un moteur de recherche ou une base de données vectorielle pendant l’inférence, l’architecture d’un système CAG est plus simple et maigre. Cela réduit la quantité de composants qui doivent être développés et maintenus. Au lieu de gérer des pipelines de récupération et de génération séparés, tout se passe dans le modèle de langue lui-même. Cette simplicité peut se traduire par des échecs d’intégration et de maintenance moins faciles, tout en atteignant des performances comparables ou plus que celles des systèmes plus complexes. En bref, CAG offre une alternative maigre et efficace au chiffon, obtenant des résultats similaires avec moins de pièces mobiles.

Performance évolutive avec un contexte étendu: CAG tire parti des progrès des LLM avec des fenêtres de contexte élargie. Les modèles récents prennent déjà en charge des dizaines, voire des centaines de milliers de jetons dans une seule invite, ce qui signifie qu’ils peuvent incorporer des livres entiers ou plusieurs documents à la fois. Ainsi, à mesure que les modèles évoluent pour accepter des contextes plus importants, le CAG devient encore plus applicable et peut englober de plus grandes bases de connaissances sans perdre de l’efficacité. De plus, les grands fournisseurs de LLM (comme OpenAI et Anthropic) offrent déjà des ressources de cache rapides dans leurs API pour optimiser les parties répétitives du contexte, réduisant les coûts jusqu’à 90% et 85% de latence en boucles. Ces tendances technologiques indiquent que les avantages du CAG ont tendance à croître avec le temps.

Défis et limitations CAG

Malgré les avantages clairs, la génération de cache augmente n’est pas une solution miracle et fait face à certains défis et limitations qui devraient être pris en compte:

Taille de la base de connaissances: l’efficacité de CAG dépend de l’ensemble de la base de connaissances pour s’adapter à la fenêtre de contexte du modèle. Si les données de support sont extrêmement étendues (par exemple, une grande base de données avec des millions de documents), il peut ne pas être possible de tout saisir à la fois. Aujourd’hui, bien qu’il y ait des LLM avec un contexte très large, il y a encore des limites pratiques. Le CAG est le mieux adapté aux bases de connaissances limitées et gérables. Dans les tâches qui impliquent des ensembles de données gigantesques ou en croissance constante, des chiffres de chiffon ou d’autres techniques de recherche dynamique sont toujours nécessaires.

Fenêtre de contexte et dégradation des performances: même s’il est possible de mettre une grande quantité de texte dans le contexte du modèle, il existe des preuves que des fenêtres de contexte extrêmement longues peuvent dégrader les performances de certains LLM. Des modèles plus anciens ou moins optimisés peuvent avoir du mal à maintenir la pertinence ou l’attention lorsqu’ils «se souviennent» des dizaines de milliers de jetons simultanément. Bien que les modèles s’améliorent à cet égard, il s’agit d’un point technique à observer – plus de contexte ne signifie pas toujours une meilleure réponse si le modèle ne peut pas filtrer ce qui compte. De plus, de très longues invites augmentent le coût de calcul du traitement de chaque consultation (bien que les techniques de cache atténuent une partie de ce coût).

Connaissances et mise à jour de la dinamicité: CAG fonctionne mieux lorsque la base de connaissances est statique ou change rarement. Si le contenu de référence doit être mis à jour fréquemment (par exemple, les informations qui changent quotidiennement), il devient moins pratique de recharger et de recalculer le cache à tout moment. Dans de tels cas, un système de recherche dynamique (chiffon traditionnel) peut répondre avec des informations plus fraîches. Par conséquent, dans les scénarios où les données évoluent rapidement, CAG nécessiterait un processus de mise à jour du cache très bien planifié ou serait moins efficace.

Informations non pertinentes ou conflictuelles: l’insertion de tout le contenu disponible dans le contexte du modèle n’est pas une assurance qualité – la conservation de ce que le chargement est encore important. Si de nombreux détails non pertinents sont préchargés, ils peuvent confondre le modèle et altérer la qualité des réponses. De même, s’il existe des informations contradictoires sur les documents fournis, le modèle peut être indécis ou générer des réponses incohérentes. Contrairement à un chiffon de pipeline qui pourrait filtrer ou hiérarchiser les documents en temps réel, le CAG dépend du modèle lui-même pour discerner ce qui est utile d’un grand contexte. En pratique, cela signifie que ceux qui projettent la solution CAG doivent sélectionner soigneusement les documents pertinents et éventuellement segmenter les connaissances dans les lots appropriés. Les entreprises adoptant le CAG doivent être particulièrement prudentes avec des documents contenant des faits contradictoires, car ces conflits peuvent confondre le modèle pendant l’inférence.

Coût de prétraitement: Bien que le CAG réduit le coût par consultation après que le cache soit prêt, il y a un coût initial de prétraitement et de chargement de toutes les informations du modèle. Dans certains scénarios, si les questions des utilisateurs ne couvrent qu’une petite partie du matériel préchargé, on peut affirmer qu’il y a eu un traitement inutile de beaucoup de contenu. Cependant, ce compromis est généralement rémunéré en cas de diverses consultations sur le même ensemble de données, où l’avantage cumulatif d’éviter plusieurs recherches compense le coût initial.

En bref, le CAG est le mieux adapté aux situations contrôlées – lorsque nous savons exactement quelle connaissance le modèle devrait avoir, cette connaissance n’est pas massive au point de dépasser le contexte et reste relativement stable. En dehors de ces conditions, il est nécessaire d’être soigneusement évalué si les gains dépassent les limites, combinant éventuellement CAG avec d’autres approches.

David Matos

Références:

Ne faites pas de chiffon: lorsque la génération au cache est tout ce dont vous avez besoin pour les tâches de connaissance

IA Génératif et LLMS pour le traitement du langage naturel

Intelligence accrue avec le chiffon, le graphrag et le chiffon agentique

En rapport