Saviez-vous que l’Allemagne se classe au troisième rang des pays dotés de systèmes RAG les plus exposés, juste derrière les États-Unis et la Chine ?
Depuis l’introduction de ChatGPT 2022, de plus en plus d’entreprises souhaitent utiliser les technologies d’IA – souvent avec des exigences spécifiques qui vont au-delà des solutions standards. La Retrieval Augmented Generation (RAG) est la technologie privilégiée pour développer des applications innovantes basées sur des données privées. Mais les risques de sécurité tels que le stockage vectoriel non protégé, la validation incorrecte des données et les attaques par déni de service constituent une menace sérieuse, en particulier compte tenu du cycle de développement rapide des systèmes RAG.
RAG nécessite quelques ingrédients pour fonctionner : une base de données de blocs de texte et un moyen de les récupérer sont nécessaires. En règle générale, une mémoire vectorielle est utilisée pour stocker le texte et une série de nombres permettant de trouver les blocs de texte les plus pertinents. Grâce à ceux-ci et à une invite correspondante, il est possible de répondre aux questions ou de rédiger de nouveaux textes basés sur des sources de données privées et adaptés aux besoins respectifs. En fait, RAG est si efficace que les LLM les plus puissants ne sont généralement pas nécessaires. Pour réduire les coûts et améliorer le temps de réponse, les serveurs propriétaires existants peuvent être utilisés pour héberger ces modèles LLM plus petits et plus légers.
Le magasin de vecteurs est comme un bibliothécaire très utile qui non seulement trouve les livres pertinents, mais met également en évidence les passages pertinents. Le LLM est alors le chercheur qui reprend ces passages et les utilise pour rédiger un livre blanc ou répondre à la question. Ensemble, ils forment une application RAG.
Stockage vectoriel, hébergement LLM, vulnérabilités
Les mémoires vectorielles ne sont pas entièrement nouvelles, mais elles connaissent une renaissance depuis deux ans. Il existe de nombreuses solutions hébergées telles que Pinecone, mais également des solutions auto-hébergées telles que ChromaDB ou Weaviate (elles aident un développeur à trouver un texte passe-partout similaire au texte saisi, comme une question à laquelle il faut répondre.
Bien que l’hébergement de votre propre LLM nécessite une bonne quantité de mémoire et un bon GPU, ce n’est rien qu’un fournisseur de cloud ne peut fournir. Pour ceux qui possèdent un bon ordinateur portable ou PC, LMStudio est une option populaire. Pour une utilisation en entreprise, llama.cpp et Ollama sont souvent le premier choix. Tous ces programmes ont connu un développement rapide. Il n’est donc pas surprenant qu’il reste encore quelques bugs à corriger dans les composants RAG.
Certains de ces bugs sont des erreurs typiques de validation des données, telles que CVE-2024-37032 et CVE-2024-39720. D’autres entraînent un déni de service, comme CVE-2024-39720 et CVE-2024-39721, ou une fuite de l’existence de fichiers, comme CVE-2024-39719 et CVE-2024-39722. La liste peut être élargie.
Llama.cpp est moins connu, mais CVE-2024-42479 y a été trouvé cette année. CVE-2024-34359 affecte la bibliothèque Python utilisée par llama.cpp. Peut-être que le manque d’informations sur llama.cpp est dû à son cycle de publication inhabituel. Depuis son lancement en mars 2023, il y a eu plus de 2 500 versions, soit environ quatre par jour. Avec une cible en constante évolution comme celle-ci, il est difficile de suivre ses vulnérabilités.
En revanche, Ollama a un cycle de sortie plus lent de seulement 96 versions depuis juillet 2023, soit environ une fois par semaine. À titre de comparaison, Linux sort une nouvelle version tous les quelques mois et Windows connaît de nouveaux « moments » chaque trimestre.
ChromaDB existe depuis octobre 2022 et une nouvelle version apparaît presque toutes les deux semaines. Fait intéressant, il n’existe aucun CVE connu pour cette mémoire vectorielle. Weaviate, un autre stockage vectoriel, présente également des vulnérabilités (CVE-2023-38976 et CVE-2024-45846 lorsqu’il est utilisé avec MindsDB). Weaviate existe depuis 2019, ce qui en fait un véritable grand-père de cette pile technologique, mais toujours avec un cycle de publication hebdomadaire. Ces cycles de publication ne sont pas gravés dans le marbre, mais ils signifient que les bogues trouvés sont corrigés rapidement, limitant ainsi leur durée de propagation.
Il est peu probable que les LLM à eux seuls répondent à toutes les exigences et ne s’amélioreront que progressivement à mesure qu’ils manqueront de données publiques sur lesquelles se former. L’avenir appartient probablement à l’IA basée sur les agents qui combine les LLM, le stockage, les outils et les flux de travail dans des systèmes basés sur l’IA plus avancés, selon Andrew Ng, un informaticien connu pour ses travaux sur l’intelligence artificielle et la robotique. Il s’agit essentiellement d’une nouvelle pile de développement logiciel, dans laquelle les LLM et les mémoires vectorielles continuent de jouer un rôle important.
Mais attention : les entreprises peuvent subir des dommages dans cette direction si elles ne prêtent pas attention à la sécurité de leurs systèmes.
Composants RAG exposés
Nous craignons que de nombreux développeurs n’exposent ces systèmes à Internet dans leur précipitation. C’est pourquoi, en novembre 2024, nous avons recherché des instances visibles publiquement de certains de ces composants RAG. L’accent a été mis sur les quatre composants les plus importants utilisés dans les systèmes RAG : llama.cpp, Ollama, qui héberge les LLM, ainsi que ChromaDB et Weaviate, qui servent de stockage vectoriel.
(PD/Trend Micro)
#Risques #sécurité #chez #RAGles #inconvénients #des #technologies #dIA #innovantes