Les dangereux effets de l’utilisation illégale de ChatGPT sur le dark web

2 890 : c’est le nombre de messages, traitant de l’utilisation de ChatGPT ou d’autres outils reposant sur l’intelligence artificielle (IA) à des fins illégales, relevés sur le dark web en 2023. Un chiffre établi par le service Digital Footprint Intelligence, de la société russe fournissant des solutions de cybersécurité Kaspersky.

Les discussions sur le sujet ont atteint un pic en mars (416) et en avril (509). Fin mars, des données personnelles (noms, prénoms, adresses e-mail, quatre derniers chiffres de numéro de carte bancaire et date d’expiration de celle-ci) d’utilisateurs du service ChatGPT Plus avaient fuité, avant d’être remises par erreur à d’autres personnes.

Dans certains forums cybercriminels, des réponses de ChatGPT intégrées

Les experts en cybersécurité ont par exemple retrouvé un post suggérant l’utilisation de ChatGPT pour générer un malware polymorphe, qui modifierait son code en gardant les fonctionnalités de bases intactes. En clair, si un hacker accède à un domaine légal (comme openai.com) depuis un appareil infecté, il peut générer et exécuter du code malveillant, en évitant les classiques contrôles de sécurité. “La popularité des outils d’IA a conduit à l’intégration de réponses automatisées de ChatGPT ou de ses équivalents dans certains forums cybercriminels” note Alisa Kulishenko, analyste de l’empreinte numérique chez Kaspersky. La société a ainsi détecté un post dans lequel, en réponse à une requête d’un membre, ChatGPT donne des conseils sur le clignotant d’un téléphone (modification du système d’exploitation en ajoutant une version plus moderne ou personnalisée).

Un autre darknaute décrit la manière dont l’IA l’a aidé à résoudre un problème de sauvegarde de données utilisateur. Tant de procédures malveillantes qui inquiètent l’éditeur de logiciels, les rendant accessibles à des hackers débutants.

Des séries de prompts pour supprimer des restrictions

Les cybercriminels partagent également des jailbreaks soit des séries de prompts qui permettent de débloquer des fonctionnalités supplémentaires et supprimer des restrictions. L’année dernière, 249 offres de distribution et de vente de ces ensembles de prompts ont été recensées.

Alisa Kulishenko ajoute que certains cybercriminels ont tendance à “concevoir des moyens d’exploiter des outils légitimes, tels que ceux pour le pentesting (test d’intrusion), basés sur des modèles à des fins malveillantes”. Kaspersky a mis la main sur un article annonçant un nouveau malware, qui utiliserait l’IA pour protéger le pirate et changer automatiquement de domaine.

L’étude met aussi en garde contre les logiciels VerGPTXXXGPT, FraudGPT, ou encore DarkBERT, analogues dans leur fonctionnement à ChatGPT et commercialisés sur le dark web. À la différence près qu’ils peuvent créer des malwares, rédiger des messages de phishing ou écrire du code malveillant.

Vente de comptes ChatGPT volés

En 2023, 2834 messages supplémentaires ont enfin été détectés par la société russe, proposant de vendre des comptes ChatGPT volés. Dans ce cas de figure, les hackers ont à leur disposition des comptes piratés, mais peuvent aussi mettre en avant des services d’inscription automatique, ce qui génère des comptes sur demande vendus par lots. Ainsi, dès qu’un compte cesse de fonctionner après avoir été interdit pour activité malveillante, les détenteurs de la liste passent au compte suivant. En juin 2023, une société de cybersécurité basée à Singapour avait trouvé plus de 100 000 comptes piratés en vente sur le dark web.

“Il est peu probable que l’IA générative et les chatbots révolutionnent le paysage des attaques, du moins en 2024, nuance toutefois Alisa Kulishenko. La nature automatisée des cyberattaques implique souvent des défenses automatisées. Néanmoins, il est essentiel de rester informé des activités des attaquants pour devancer les adversaires au niveau de la cybersécurité des entreprises”.