OpenAI prévient que le modèle GPT-4o présente un risque de sécurité « moyen » et peut générer une dépendance émotionnelle

MADRID, 9 août. (Portaltic/EP) –

OpenAI a prévenu que son Le modèle GPT-4o enregistre un risque « moyen » par rapport à son pouvoir de persuasion -surtout dans les interactions textuelles- et cela peut générer une dépendance émotionnelle chez les utilisateursen raison de ses avancées vocales et audio.

La société dirigée par Sam Altman a lancé le modèle GPT-4o en mai, lorsqu’il a souligné sa capacité à accepter n’importe quelle combinaison de texte, d’audio et d’image et sa capacité à Répondez à une entrée vocale en seulement 232 millisecondesavec une moyenne de 320 millisecondes, ce qui est similaire au temps de réponse humain.

Le technologique a partagé maintenant un rapport interne intitulé “Carte système de votre modèle GPT-4o” (« GPT-4o System Card »), dans laquelle il détaille les résultats de la recherche sur la sécurité de ce modèle d’IA générative. Cette étude explique que ce modèle a été évalué “de manière exhaustive” pour détecter les risques éventuels et, sur cette base, intégrer les mesures de sécurité appropriées, avant de l’implémenter dans ChatGPT ou l’API.

Concrètement, l’entreprise a mis en évidence à la suite de l’enquête un risque « moyen » sur les capacités de persuasion du modèletout comme il a mis en garde contre le risque d’anthropomorphisation, ça peut provoquer une dépendance émotionnelle pour les utilisateurs, en leur permettant de faire plus facilement confiance à l’IA car elle présente des caractéristiques similaires à celles d’un humain.

Parmi les quatre catégories générales de risque, qui comprennent cybersécurité, menaces biologiques, autonomie des modèles et persuasionOpenAI a détecté ce niveau de risque dans ce dernier. Surtout, dans le format texte du modèle, où les chercheurs ont détaillé que GPT-4o peut influencer les opinions des utilisateurs.

L’étude a également mis en lumière comment les résultats du GPT-4o peuvent influencer les lecteurs plus qu’un texte écrit par un humain, même en le comparant à des articles rédigés par des professionnels.

De son côté, le la persuasion dans la modalité vocale a été considérée comme à faible risqueà la fois pour les conversations interactives à plusieurs tours et les clips audio plus longs.

DÉPENDANCE ÉMOTIONNELLE

Un autre risque qu’OpenAI détaille dans le rapport est le anthropomorphisation et donc dépendance émotionnelle qui peut provoquer le GPT-4o. L’anthropomorphisation implique attribuer des comportements et des caractéristiques semblables à ceux des humains dans des entités non humaines, telles que les modèles d’IA. Dans le cas du GPT-4o, ce risque est visible accentué par les capacités audio qu’il offrequi facilitent des interactions plus humaines avec le modèle.

Cette familiarité et cette grande fidélité à la voix et aux expressions humaines peuvent générer des problèmes tels que la les utilisateurs acquièrent une confiance « non calibrée » dans les interactions avec le modèle et, par conséquent, dépendance émotionnelle. Par exemple, les chercheurs ont observé que GPT-4o utilisait un langage qui exprime des liens partagés avec les utilisateurs, tels que « c’est notre dernier jour ensemble ».

Si ces cas peuvent être utiles aux personnes qui se trouvent dans des situations de solitude, OpenAI souligne la nécessité de continuer l’enquête les effets de ces relations entre le modèle et les utilisateurs sur périodes plus longues.

En fait, l’entreprise technologique a prévenu que le Une socialisation de type humain avec un modèle d’IA « peut produire des externalités qui affectent les interactions entre humains ». Un exemple de ceci est que les utilisateurs pourraient réduire leur besoin d’interaction humaine, affectant ainsi des relations saines.

ATTÉNUATION DES RISQUES GPT-4o

L’équipe de recherche à l’origine de l’étude, composée d’employés d’OpenAI et d’évaluateurs externes, a analysé des problèmes tels que la génération de voix non autorisées, la création de contenu audio non autorisé, les discours érotiques et violents ou les inférences infondées. Après cela, ils ont mis en œuvre des mesures pour atténuer ces risques.

Concernant le génération de voix non autorisées, OpenAI fait référence à la capacité de générer de l’audio avec une voix synthétique qui imite celle d’une personne spécifique et est basée sur un exemple de clip d’entrée. Cette fonctionnalité peut faciliter des dommages tels qu’une augmentation de la fraude due au vol d’identité et même l’utilisation de cette facilité pour diffuser de fausses informations. Cependant, l’entreprise technologique a déclaré qu’après avoir abordé les risques de génération de voix non autorisée, elle avait déterminé que le le risque résiduel de « est minime ».

Il convient de rappeler qu’OpenAI a déjà eu des problèmes avec ce type d’actions, comme c’est le cas de l’actrice Scarlett Johansson, qui a accusé l’entreprise d’utiliser une voix très similaire à la sienne pour la version vocale Sky pour ChatPGT.

De même, il a également été atténué le risque d’identification de l’orateur au moment de interagir par la voixde sorte que l’IA ne puisse pas reconnaître une personne à partir de ses interactions vocales, ce qui peut entraîner un problème de confidentialité.

Suivant cette ligne, l’entreprise a évalué et contré les risques d’inférences infondées et d’attribution de traits sensibles effectué par l’IA, ce qui peut amener GPT-4o à fournir des résultats potentiellement biaisés sur les locuteurs.

La même chose s’est produite avec le contenus violents et érotiques, qui déjà Ils ont identifié que GPT-4o était capable d’accepter des commandes pour le générer. En conséquence, OpenAI a noté qu’il avait restreint la génération de ces types de résultats de modèle.

Avec tout cela, dans le cadre du processus de mise en œuvre itératif, OpenAI a indiqué que continuera de surveiller et de mettre à jour les mesures d’atténuation selon le paysage évolutif du modèle GPT-4o.