La plateforme de médias sociaux X d’Elon Musk a bloqué certaines recherches sur Taylor Swift, car de fausses images pornographiques de la chanteuse ont circulé en ligne.
Les tentatives de recherche de son nom sans guillemets sur le site lundi ont abouti à un message d’erreur et à une invitation aux utilisateurs de réessayer leur recherche, qui ajoutait : “Ne vous inquiétez pas, ce n’est pas de votre faute.”
Cependant, mettre des guillemets autour de son nom permettait d’afficher des messages mentionnant son nom.
De fausses images sexuellement explicites et abusives de Swift ont commencé à circuler largement la semaine dernière sur X, faisant d’elle la victime la plus célèbre d’un fléau que les plateformes technologiques et les groupes anti-abus ont eu du mal à résoudre.
“Il s’agit d’une action temporaire et réalisée avec beaucoup de prudence alors que nous accordons la priorité à la sécurité sur cette question”, a déclaré Joe Benarroch, responsable des opérations commerciales chez X, dans un communiqué.
Contrairement aux images trafiquées plus conventionnelles qui ont troublé les célébrités dans le passé, les images Swift semblent avoir été créées à l’aide d’un générateur d’images à intelligence artificielle capable de créer instantanément de nouvelles images à partir d’une invite écrite.
Après que les images ont commencé à se répandre en ligne, les fans dévoués de « Swifties » se sont rapidement mobilisés, lançant une contre-offensive sur X et un hashtag #ProtectTaylorSwift pour l’inonder d’images plus positives de la pop star. Certains ont déclaré qu’ils signalaient des comptes partageant des deepfakes.
Le groupe de détection de deepfake Reality Defender a déclaré avoir suivi un déluge de matériel pornographique non consensuel représentant Swift, en particulier sur X, anciennement connu sous le nom de Twitter. Certaines images ont également été diffusées sur Facebook, propriété de Meta, et sur d’autres plateformes de médias sociaux.
Les images Swift sont issues d’une campagne en cours qui a débuté l’année dernière sur des plateformes marginales pour produire des images sexuellement explicites de femmes célèbres générées par l’IA, a déclaré Ben Decker, fondateur du groupe de renseignement sur les menaces Memetica. L’une des images Swift devenues virales la semaine dernière est apparue en ligne dès le 6 janvier, a-t-il déclaré.
La plupart des générateurs d’images commerciaux dotés d’IA disposent de mesures de protection pour empêcher les abus, mais les commentateurs sur les forums de discussion anonymes ont discuté de tactiques pour contourner la modération, en particulier sur l’outil de conversion texte-image de Microsoft Designer, a déclaré Decker.
Microsoft a déclaré lundi dans un communiqué qu’il “continuait d’enquêter sur ces images et avait renforcé nos systèmes de sécurité existants pour empêcher davantage que nos services soient utilisés à mauvais escient pour aider à générer des images comme celles-ci”.
Decker a déclaré que « cela fait partie d’une relation conflictuelle de longue date entre les trolls et les plateformes ».
“Tant que les plateformes existeront, les trolls vont essayer de les perturber”, a-t-il déclaré. “Et tant que les trolls existeront, les plateformes vont être perturbées. La question qui se pose alors est la suivante : combien de fois cela va-t-il se produire avant qu’il y ait un changement sérieux ? »
La décision de X de réduire les recherches sur Swift est probablement une mesure provisoire.
« Lorsque vous n’êtes pas sûr de l’endroit où tout se trouve et que vous ne pouvez pas garantir que tout a été supprimé, la chose la plus simple que vous puissiez faire est de limiter la capacité des gens à le rechercher », a-t-il déclaré.
Les chercheurs ont déclaré que le nombre de deepfakes explicites avait augmenté au cours des dernières années, à mesure que la technologie utilisée pour produire de telles images est devenue plus accessible et plus facile à utiliser.
En 2019, un rapport publié par la société d’IA DeepTrace Labs montrait que ces images étaient majoritairement utilisées comme une arme contre les femmes. La plupart des victimes, selon le communiqué, étaient des acteurs hollywoodiens et des chanteurs de K-pop sud-coréens.
Dans l’Union européenne, de nouvelles lois distinctes incluent des dispositions sur les deepfakes. La loi sur les services numériques, entrée en vigueur l’année dernière, oblige les plateformes en ligne à prendre des mesures pour réduire le risque de diffusion de contenus violant les « droits fondamentaux » comme la vie privée, comme les images « non consensuelles » ou la pornographie deepfake. La loi sur l’intelligence artificielle du bloc de 27 pays, qui attend encore les approbations finales, obligera les entreprises qui créent des deepfakes avec des systèmes d’IA à informer également les utilisateurs que le contenu est artificiel ou manipulé.