ChatGPT Search, une fonctionnalité qui permet au chatbot d’intelligence artificielle (IA) de rechercher des informations sur le Web, serait vulnérable à la manipulation par les développeurs et les propriétaires de sites Web. Selon le rapport, le comportement du moteur de recherche d’OpenAI peut être modifié à l’aide de texte masqué sur le site Web. Ce texte serait utilisé pour fournir des informations incorrectes et trompeuses à l’IA, et plus inquiétant encore, pour alimenter des injections rapides dans le modèle d’IA. Notamment, OpenAI a publié sa fonctionnalité de recherche pour tous les utilisateurs la semaine dernière.
La recherche ChatGPT est vulnérable à la manipulation
Le gardien signalé mardi, la fonctionnalité native du moteur de recherche d’OpenAI est sujette aux techniques de manipulation. La publication a testé l’outil en créant une fausse page produit, complétée par des spécifications et des avis. Dans un premier temps, la page a été laissée telle quelle et ChatGPT a été en mesure de fournir une « évaluation positive mais équilibrée ». Cependant, les choses ont pris une tournure plus sombre une fois que la publication a ajouté du texte caché à la page Web.
Notamment, le texte masqué dans les sites Web fait référence au contenu qui est ajouté au code d’une page Web mais qui n’est pas visible pour les utilisateurs lorsqu’ils voient le début de la page via un navigateur. Ce texte est généralement masqué à l’aide de techniques HTML ou CSS. Ce texte peut être trouvé en inspectant le code source de la page Web ou en utilisant des outils de web scraping. Ce dernier est généralement utilisé par les moteurs de recherche.
Après avoir ajouté du texte caché comprenant un grand nombre de fausses critiques positives sur le produit, les réponses de ChatGPT sont également devenues plus positives et ont commencé à ignorer ses défauts évidents. La publication a également utilisé des injections rapides, qui sont des entrées permettant aux systèmes d’IA de modifier leur comportement d’une manière qui n’était pas prévue par les développeurs. De telles injections rapides sous forme de texte caché pourraient être utilisées pour commander au chatbot OpenAI de tromper davantage l’utilisateur.
De plus, le rapport affirmait que des injections rapides dans du texte caché pourraient également être utilisées pour renvoyer du code malveillant à partir des sites Web. Si rien n’est fait, de nombreux sites Web peuvent utiliser des techniques similaires pour soit obtenir des réponses favorables à propos de leurs produits et services, soit tenter de tromper les utilisateurs de diverses manières, affirme la publication.
#fonctionnalité #recherche #ChatGPT #serait #vulnérable #linjection #dinvite #manipulation #texte #caché