Les pirates informatiques pourraient exploiter un bug pour manipuler le LLM de Slack AI afin de voler des données
Rashmi Ramesh (rashmiramesh_) •
23 août 2024
Image : Shutterstock
L’application de chat Slack a corrigé une vulnérabilité dans son ensemble d’outils d’intelligence artificielle que des pirates auraient pu exploiter pour manipuler un grand modèle de langage sous-jacent afin de hameçonner des employés et de voler des données sensibles.
Voir aussi : OnDemand | La valeur commerciale de Prisma Cloud pour Google Cloud
Le client de texte appartenant à Salesforce propose Slack AI en tant que service complémentaire. dit la fonction utilise les « données de conversation déjà présentes dans Slack pour créer une expérience d’IA intuitive et sécurisée adaptée à vous et à votre organisation ».
Les chercheurs de PromptArmor ont découvert une faille sous la forme d’une vulnérabilité d’injection rapide. Les failles d’injection rapide existent parce que les LLM ne peuvent pas reconnaître si une instruction est malveillante ou non. « Ainsi, si Slack AI ingère une instruction via un message, si cette instruction est malveillante, Slack AI a une forte probabilité de suivre cette instruction à la place ou en plus de la requête de l’utilisateur », ont déclaré les chercheurs dit.
Les pirates informatiques disposant d’un compte d’espace de travail Slack auraient pu exploiter la faille pour voler des fichiers professionnels ou des données sensibles partagées sur la plateforme de collaboration simplement en interrogeant l’outil d’IA pour qu’il les récupère à leur place, ce qui présente un risque important d’exposition des données, ont déclaré les chercheurs.
Lorsque cela est demandé, Slack AI récupère les données des canaux publics et privés, même ceux dont l’employé interrogeant ne fait pas partie. Cela peut exposer les clés API et les données client sensibles dans les canaux privés, qu’un pirate peut potentiellement exfiltrer et exploiter.
Les acteurs malveillants auraient également pu exploiter la faille pour injecter des messages malveillants afin de hameçonner les employés et d’obtenir un accès plus large à l’organisation ciblée. Les lieux de travail peuvent connecter Slack à un stockage tiers, augmentant ainsi la surface de risque pour la dernière faille. Les pirates pourraient injecter des instructions malveillantes dans les documents. « Le problème ici est que la surface d’attaque devient fondamentalement extrêmement large. Désormais, au lieu qu’un attaquant doive publier une instruction malveillante dans un message Slack, il n’a peut-être même pas besoin d’être dans Slack », ont déclaré les chercheurs.
L’équipe de PromptArmor a déclaré que l’attaque était « très difficile » à retracer, car Slack AI ne cite pas le message de l’attaquant comme source de sortie. Les chercheurs ont conseillé de modifier les paramètres de Slack AI pour restreindre l’analyse des documents afin de limiter l’accès aux informations sensibles.
Ils ont déclaré avoir divulgué la vulnérabilité à Slack le 14 août et avoir travaillé avec l’entreprise pour résoudre le problème sur une période d’une semaine.
Slack a décrit la faille aux chercheurs comme un « comportement intentionnel », ont déclaré les chercheurs. Dans un article de blog, Slack dit Il s’agissait d’un bug de faible gravité qui pouvait permettre à un pirate informatique disposant d’un compte dans le même espace de travail de pirater les utilisateurs pour obtenir « certaines données » dans « des circonstances très limitées et spécifiques ». Slack a déclaré qu’il n’y avait aucune preuve d’accès non autorisé ou d’exploitation des données des clients à l’heure actuelle.
2024-08-24 00:44:49
1724450268
#Les #correctifs #Slack #provoquent #une #erreur #dinjection #dans #lensemble #doutils #dIA
