Les systèmes d’intelligence artificielle générative véhiculent des menaces nouvelles et anciennes pour les MSSP, mais des pratiques et des outils émergent pour répondre aux préoccupations des clients.
Ram Shankar Siva Kumar, responsable de l’AI Red Team de Microsoft et co-auteur d’un article publié cette semaine présentant des études de cas, des leçons et des questions sur la pratique de la simulation de cyberattaques sur les systèmes d’IA, a déclaré : CRN dans une interview, 2025 est l’année où les clients exigeront des détails de la part des MSSP et d’autres professionnels concernant la protection à l’ère de l’IA.
« Nous ne pouvons plus parler de principes de haut niveau », a déclaré Kumar.
« Montre-moi des outils. Montre-moi des cadres. Ancrez-les dans des leçons croustillantes afin que, si je suis un MSSP et que j’ai été engagé pour équipe rouge sur un système d’IA… j’ai un outil, j’ai des exemples, j’ai des invites de départ et je fais le travail. »
L’article de Kumar et de son équipe, intitulé « Leçons tirées du Red Teaming 100 produits d’IA générative», présente huit leçons et cinq études de cas tirées d’attaques simulées impliquant des copilotes, des plugins, des modèles, des applications et des fonctionnalités.
Microsoft n’est pas nouveau dans le partage de son expertise en matière de sécurité de l’IA avec la communauté au sens large.
En 2021, il a publié l’outil d’automatisation open source Counterfit pour tester les systèmes et algorithmes d’IA.
L’année dernière, Microsoft a publié le cadre d’automatisation open source Pyrit (prononcé « pirate », abréviation de Python Risk Identification Toolkit) pour détecter les risques dans les systèmes GenAI, un autre exemple du travail communautaire du fournisseur pour améliorer la sécurité de l’IA.
Parmi les leçons que Microsoft propose aux professionnels dans ce dernier article, citons la compréhension de ce que les systèmes d’IA peuvent faire et où ils sont appliqués.
Les acteurs de la menace n’ont pas besoin de calculer des gradients pour briser les systèmes d’IA, une ingénierie rapide pouvant potentiellement causer des dommages, selon le document.
Les équipes rouges de l’IA ne peuvent pas s’appuyer sur des critères de sécurité pour les catégories de dommages nouveaux et futurs de l’IA.
Et les équipes devraient se tourner vers l’automatisation pour couvrir une plus grande partie du paysage des risques.
Les équipes rouges devraient se tourner vers des experts en la matière pour évaluer les risques liés au contenu et prendre en compte le risque des modèles dans une langue par rapport à une autre, selon le document.
Les dommages responsables causés par l’IA sont subjectifs et difficiles à mesurer. Et la sécurisation des systèmes d’IA n’est jamais un processus terminé, les règles du système étant susceptibles de changer au fil du temps.
Les études de cas que l’équipe de Kumar présente dans l’article comprennent :
Les professionnels de la sécurité verront que la sécurité de l’IA et l’équipe rouge s’accompagnent de nouvelles tactiques et techniques, mais les méthodes et pratiques familières ne disparaissent pas à l’ère de l’IA, a déclaré Kumar.
“Si vous ne corrigez pas ou ne mettez pas à jour la bibliothèque d’une bibliothèque de traitement vidéo obsolète dans un système d’IA multimodal, un adversaire ne va pas s’introduire par effraction.”
Elle va se connecter », a-t-il déclaré.
« Nous voulions souligner que les vulnérabilités de sécurité traditionnelles ne disparaissent tout simplement pas. »
#Leader #léquipe #rouge #Microsoft #les #menaces #liées #lIA #sont #nouvelles #mais #résolubles #Sécurité