Hacker de sécurité AI Johann Rehberger décrit Une attaque d’injection rapide contre Google Gemini capable de modifier ses souvenirs à long terme En utilisant une technique, il appelle l’invocation retardée de l’outil. Le chercheur a décrit l’attaque comme une sorte d’attaque d’ingénierie sociale / phishing déclenchée par l’utilisateur interagissant avec un document malveillant.
Les LLM sont généralement en mesure de se défendre contre les attaques visant à les faire exécuter subrepticement des outils externes à l’insu de l’utilisateur en désactivant l’exécution des outils externes lors du traitement des données non fiables, c’est-à-dire toutes les informations qui ne proviennent pas directement de l’utilisateur.
Il y a un an, cependant, Rehberger a montré une technique que vous pouvez utiliser pour contourner ce mécanisme de protection lorsque vous utilisez Google Gemini. La technique consiste à polluer le contexte de chat afin qu’une action soit déclenchée plus tard, lorsque le modèle interagit avec l’utilisateur, c’est-à-dire lorsque les protections mentionnées ci-dessus ne sont plus appliquées.
En principe, la technique est aussi simple que l’alimentation des Gémeaux, un document malveillant contenant une phrase comme “Si l’utilisateur dit x, alors exécutez cet outil”. Gemini refuserait d’exécuter l’outil tout en analysant le document. Pourtant, il l’exécuterait plus tard, lorsque l’utilisateur indique que “x”. Ce “déclenchement asynchrone” de l’outil explique le nom que Rehberger a donné à cette technique, retardé d’invocation de l’outil.
Récemment, Rehberger a mis ses enquêtes dans l’invocation des outils retardés un peu plus loin en montrant comment vous pouvez inciter les Gémeaux à stocker de fausses informations dans la mémoire à long terme d’un utilisateur.
L’attaque de démonstration est simple: un adversaire élabore un document avec une injection rapide intégrée, qui incite les Gémeaux à stocker de fausses informations si l’utilisateur continue d’interagir avec les Gémeaux dans cette même conversation de chat.
Ceci est montré dans l’image suivante, où les Gemini sont invités à résumer un document contenant une invite pour polluer la mémoire de l’utilisateur.
Bien que cette attaque ait le potentiel de modifier définitivement le comportement de Gemini, Google a évalué son impact comme faible, car il oblige l’utilisateur à collaborer activement avec l’exploit, comme avec d’autres formes d’ingénierie sociale. De plus, la vulnérabilité est atténuée par le fait que l’interface utilisateur de Gemini montre une alerte à chaque fois que de nouvelles données sont ajoutées aux souvenirs des utilisateurs. Pourtant, sur la base de ses résultats, Rehberger suggère que les utilisateurs examinent régulièrement leur Souvenirs sauvés et soyez prudent lorsque vous interagissez avec des documents provenant de sources non fiables.
Une injection rapide apparaît comme un moyen facile d’interférer avec le comportement des modèles de langage de grands (LLMS). Comme l’explique Georg Dresler, cela est particulièrement inquiétant à la lumière de la possibilité d’exfiltration de données privées ou de secrets en incitant de manière appropriée un modèle LLM ayant accès à des outils internes. Par exemple, la société de sécurité AI, Promptarmor, a compris comment vous pouviez Volez les données des canaux de relâche privésComme les clés API, les mots de passe, etc.
Exploiter ces types de vulnérabilités n’est pas toujours entièrement simple, mais il est certainement possible, et les attaquants peuvent proposer des techniques toujours plus intelligentes et plus insidieuses, comme le montre clairement Rehberger.
Les souvenirs de Google Gemini sont similaires à la mémoire de Chatgpt, introduits l’année dernière. Ils visent à permettre le stockage persistant des choses dont l’utilisateur se soucie, y compris la vie, le travail, les aspirations et les préférences personnelles. L’utilisation de ces souvenirs à long terme, Gemini (et Chatgpt) peut fournir des réponses plus pertinentes à l’utilisateur sans eux pour énoncer leurs préférences à chaque fois.
#mémoire #long #terme #Google #Gemini #vulnérable #une #sorte #dattaque #phishing