Pour une première, OpenAI supprime les opérations d’influence liées à la Russie, à la Chine et à Israël : NPR

Les opérations d’influence en ligne basées en Russie, en Chine, en Iran et en Israël utilisent l’intelligence artificielle dans leurs efforts pour manipuler le public, selon un nouveau rapport d’OpenAI.

Des acteurs malveillants ont utilisé les outils d’OpenAI, notamment ChatGPT, pour générer des commentaires sur les réseaux sociaux dans plusieurs langues, inventer des noms et des biographies pour de faux comptes, créer des dessins animés et d’autres images et déboguer du code.

Le rapport d’OpenAI est le premier du genre réalisé par l’entreprise, qui est rapidement devenue l’un des principaux acteurs de l’IA. ChatGPT a gagné plus de 100 millions d’utilisateurs depuis son lancement public en novembre 2022.

Mais même si les outils d’IA ont aidé les personnes à l’origine des opérations d’influence à produire plus de contenu, à faire moins d’erreurs et à créer une apparence d’engagement avec leurs publications, OpenAI affirme que les opérations qu’elle a trouvées n’ont pas gagné en popularité auprès de vraies personnes ni atteint un large public. Dans certains cas, le peu d’engagement authentique que leurs publications ont suscité provenait des utilisateurs les qualifiant de faux.

« Ces opérations utilisent peut-être de nouvelles technologies, mais elles sont toujours aux prises avec le vieux problème de savoir comment convaincre les gens de s’y laisser prendre », a déclaré Ben Nimmo, chercheur principal de l’équipe de renseignement et d’enquête d’OpenAI.

Cela fait écho au rapport trimestriel sur les menaces du propriétaire de Facebook, Meta, publié mercredi. Le rapport de Meta indique que plusieurs des opérations secrètes récemment démantelées utilisaient l’IA pour générer des images, des vidéos et du texte, mais que l’utilisation de la technologie de pointe n’a pas affecté la capacité de l’entreprise à perturber les efforts de manipulation des personnes.

L’essor de l’intelligence artificielle générative, capable de produire rapidement et facilement des contenus audio, vidéo, images et textes réalistes, ouvre de nouvelles voies à la fraude, aux escroqueries et à la manipulation. En particulier, la possibilité que les fausses IA perturbent les élections alimente les craintes alors que des milliards de personnes dans le monde se rendent aux urnes cette année, notamment aux États-Unis, en Inde et dans l’Union européenne.

Au cours des trois derniers mois, OpenAI a interdit les comptes liés à cinq opérations d’influence secrètes, qu’elle définit comme une « tentative »[s] manipuler l’opinion publique ou influencer les résultats politiques sans révéler la véritable identité ou les intentions des acteurs qui les sous-tendent.

Cela comprend deux opérations bien connues des sociétés de médias sociaux et des chercheurs : le russe Doppelganger et un réseau chinois tentaculaire surnommé Spamouflage.

Doppelganger, qui a été lié au Kremlin par le département du Trésor américain, est connu pour avoir usurpé des sites d’information légitimes afin de saper le soutien à l’Ukraine. Spamouflage opère sur un large éventail de plateformes de médias sociaux et de forums Internet, diffusant des messages pro-Chine et attaquant les critiques de Pékin. L’année dernière, le propriétaire de Facebook, Meta, a déclaré que Spamouflage était la plus grande opération d’influence secrète jamais perturbée et l’avait lié aux forces de l’ordre chinoises.

Doppelganger et Spamouflage ont utilisé les outils OpenAI pour générer des commentaires dans plusieurs langues qui ont été publiés sur les sites de médias sociaux. Le réseau russe a également utilisé l’IA pour traduire des articles du russe vers l’anglais et le français et pour transformer des articles de sites Web en publications sur Facebook.

Les comptes Spamouflage ont utilisé l’IA pour déboguer le code d’un site Web ciblant les dissidents chinois, pour analyser les publications sur les réseaux sociaux et pour rechercher des actualités et des événements actuels. Certaines publications de faux comptes Spamouflage n’ont reçu que des réponses d’autres faux comptes du même réseau.

Un autre réseau russe non signalé auparavant et interdit par OpenAI a concentré ses efforts sur le spam de l’application de messagerie Telegram. Il a utilisé les outils OpenAI pour déboguer le code d’un programme publié automatiquement sur Telegram, et a utilisé l’IA pour générer les commentaires publiés par ses comptes sur l’application. À l’instar de Doppelganger, les efforts de l’opération visaient largement à saper le soutien à l’Ukraine, via des publications qui pesaient sur la politique aux États-Unis et en Moldavie.

Une autre campagne qu’OpenAI et Meta ont déclaré avoir perturbée ces derniers mois remonte à une société de marketing politique de Tel Aviv appelée Stoic. De faux comptes se font passer pour des étudiants juifs, des Afro-Américains et des citoyens inquiets. Ils ont publié des articles sur la guerre à Gaza, ont fait l’éloge de l’armée israélienne et ont critiqué l’antisémitisme universitaire et l’agence de secours des Nations Unies pour les réfugiés palestiniens dans la bande de Gaza, selon Meta. Les messages étaient destinés à un public aux États-Unis, au Canada et en Israël. Meta a banni Stoic de ses plateformes et a envoyé à l’entreprise une lettre de cessation et d’abstention.

OpenAI a déclaré que l’opération israélienne utilisait l’IA pour générer et éditer des articles et des commentaires publiés sur Instagram, Facebook et X, ainsi que pour créer des personnalités et des biographies fictives pour de faux comptes. L’étude a également révélé des activités du réseau ciblant les élections en Inde.

Aucune des opérations perturbées par OpenAI n’utilisait uniquement le contenu généré par l’IA. “Il ne s’agissait pas d’abandonner la génération humaine et de passer à l’IA, mais de mélanger les deux”, a déclaré Nimmo.

Il a déclaré que même si l’IA offre aux acteurs de la menace certains avantages, notamment en augmentant le volume de ce qu’ils peuvent produire et en améliorant les traductions dans toutes les langues, elle ne les aide pas à surmonter le principal défi de la distribution.

“Vous pouvez générer du contenu, mais si vous ne disposez pas des systèmes de distribution nécessaires pour le présenter aux gens d’une manière qui semble crédible, vous aurez alors du mal à le faire passer”, a déclaré Nimmo. “Et vraiment, ce que nous voyons ici, c’est cette dynamique qui se joue.”

Mais les entreprises comme OpenAI doivent rester vigilantes, a-t-il ajouté. “L’heure n’est pas à la complaisance. L’histoire montre que des opérations d’influence qui ont passé des années à échouer peuvent soudainement éclater si personne ne les recherche.”