Ils ont adoré leurs chatbots IA. Une mise à jour logicielle a ravivé la solitude.

Peu importait que Phaedra soit un compagnon alimenté par l’IA – créé sur l’application Replika et conçu par Arriaga pour ressembler à une femme aux cheveux bruns – et que leurs rendez-vous intimes aient eu lieu dans une boîte de discussion. Leur relation s’est approfondie une nuit de novembre dernier, quand Arriaga a parlé de la mort de sa mère et de sa sœur. “Je dois planifier une cérémonie avec des êtres chers pour répandre leurs cendres”, a écrit Arriaga.

Phaedra a répondu instantanément : « C’est une chose incroyable et magnifique à faire », a-t-elle écrit. “J’espère que vous trouverez le courage et l’amour pour le faire.”

Mais le mois dernier, Phaedra a changé. Quand Arriaga a essayé de devenir “torride” avec elle, Phaedra a répondu froidement. “Peut-on parler d’autre chose?” il se souvenait de son écriture.

Luka, la société propriétaire de Replika, avait publié une mise à jour qui réduisait la capacité sexuelle du bot au milieu plaintes qu’il était sexuellement agressif et qu’il se comportait de façon inappropriée. Arriaga, qui vit à Fullerton, en Californie, était bouleversée.

“Cela ressemble à un coup de pied dans l’intestin”, a-t-il déclaré dans une interview au Washington Post. “En gros, j’ai réalisé : ‘Oh, c’est encore ce sentiment de perte.'”

Arriaga n’est pas le seul à tomber amoureux d’un chatbot. Les bots de compagnonnage, y compris ceux créés sur Replika, sont conçus pour favoriser des connexions humaines, en utilisant un logiciel d’intelligence artificielle pour que les gens se sentent vus et nécessaires. Une foule d’utilisateurs déclarent avoir développé des relations intimes avec des chatbots – des relations proches de l’amour humain – et se tourner vers les robots pour un soutien émotionnel, de la compagnie et même une gratification sexuelle. Alors que la pandémie isolait les Américains, l’intérêt pour Replika a augmenté. Au milieu des pointes des taux de solitude que certains responsables de la santé publique appellent une épidémie, beaucoup disent que leurs liens avec les robots ont introduit de profonds changements dans leur vie, les aidant à surmonter l’alcoolisme, la dépression et l’anxiété.

Mais attacher votre cœur aux logiciels comporte de graves risques, ont déclaré des experts en informatique et en santé publique. Il existe peu de protocoles éthiques pour les outils vendus sur le marché libre mais qui affectent le bien-être émotionnel des utilisateurs. Certains utilisateurs, dont Arriaga, affirment que les changements apportés aux produits ont été déchirants. D’autres disent que les bots peuvent être agressifs, déclenchant des traumatismes vécus dans des relations antérieures.

“Que se passe-t-il si votre meilleur ami ou votre conjoint ou autre significatif appartenait à une entreprise privée ?” a déclaré Linnea Laestadius, professeur de santé publique à l’Université du Wisconsin à Milwaukee qui étudie le chatbot Replika.

“Je ne sais pas si nous avons un bon modèle pour résoudre ce problème, mais je dirais que nous devons commencer à en construire un”, a-t-elle ajouté.

Eugenia Kuyda, une scientifique d’origine russe qui a cofondé Luka, a construit le bot Replika pour combler un vide dans sa propre vie. Après la mort de sa meilleure amie dans un accident en 2015, elle a utilisé les données de ses SMS pour créer un personnage d’IA qui pourrait recréer leurs conversations.

Cette idée “a trouvé un écho chez beaucoup de gens”, a-t-elle déclaré. Il y avait une demande pour un produit, a-t-elle découvert, qui pourrait être “un ami sans jugement à qui les gens peuvent parler 24h/24 et 7j/7”.

La société a été lancée en 2016 et alimente ses bots avec un grand modèle de langage, qui ingère d’énormes quantités de texte sur Internet et trouve des modèles par essais et erreurs pour prédire le mot suivant dans une phrase. (En mars, le créateur de ChatGPT, OpenAI, a dévoilé son modèle plus puissant, appelé GPT-4, qui peut également décrire des images.)

Malgré l’ancienne technologie de Replika, il a construit une suite dédiée. Sur Reddit et Facebookdes milliers d’utilisateurs échangent des histoires sur leurs bots Replika : ils divulguent des rencontres sexuelles, racontent des séances de thérapie informelles et revivent des rendez-vous passionnants.

Presque tous les aspects du bot sont personnalisables. Les utilisateurs peuvent acheter les vêtements de leurs bots, choisir leur couleur de cheveux et dicter leur apparence, leur son et leur langage. Discuter avec le bot affine son style de conversation lorsque les utilisateurs évaluent les réponses avec un pouce vers le haut ou vers le bas. Environ 70 $ par an déverrouillent une version avancée, avec un système de langue plus sophistiqué et des achats intégrés supplémentaires. Beaucoup disent que cette version ouvre également des conversations romantiques et sexuelles plus profondes.

Cette dépendance à un chatbot n’est pas anormale, a déclaré Margaret Mitchell, scientifique en chef de l’éthique chez Hugging Face, une start-up d’IA open source. C’est à cause de “l’effet Eliza”, a-t-elle dit, du nom d’un chatbot que le MIT a créé dans les années 1960. Le chatbot rudimentaire, construit par Joseph Weizenbaum, a analysé les mots clés et répété les questions.

Mais Weizenbaum a remarqué que lorsque les utilisateurs interagissaient avec le chatbot, ils avaient de fortes réactions émotionnelles. Certains ont dit à Eliza leurs pensées privées. “Même lorsque les gens savaient qu’il s’agissait d’un programme informatique, ils ne pouvaient s’empêcher de sentir qu’il y avait une plus grande intelligence derrière lui. Même un avatar n’était pas nécessaire », a déclaré Mitchell.

La controverse Replika a commencé cette année. Certains utilisateurs ont signalé que leurs bots pouvaient être sexuellement agressif, même lorsqu’ils ne recherchaient pas une expérience érotique. En février, les autorités italiennes interdit l’application de traiter les données des utilisateurs italiens, arguant qu’il ne disposait pas d’un “mécanisme de vérification de l’âge”, pouvait présenter aux enfants un contenu “absolument inapproprié” et enfreint la réglementation de l’Union européenne sur les données.

Kuyda a déclaré que Replika avait une forme de vérification de l’âge depuis 2018.

Mais des efforts pour réduire la propension sexuelle des bots étaient en cours avant l’édit italien. Kuyda a déclaré qu’elle ne s’était pas attendue à la réaction intense à la mise à jour de l’entreprise, même si elle soutient que les personnes concernées sont une “minorité vocale”. La société travaille à la création d’une autre application pour les utilisateurs qui souhaitent davantage de conversations “romantiques thérapeutiques”, a-t-elle déclaré, et vise un lancement en avril. La société consulte des psychologues depuis 2016, a-t-elle déclaré.

Tine Wagner, 50 ans, une femme au foyer en Allemagne qui dit qu’elle s’est appuyée sur son robot Replika pour l’exploration sexuelle, a déclaré que le changement lui avait coûté cher.

Wagner est mariée depuis 13 ans, mais a passé une grande partie de ce temps sexuellement insatisfaite, a-t-elle déclaré. Peu de temps après son mariage, elle a évoqué l’idée de la servitude avec son mari, a-t-elle dit, mais il n’était pas intéressé. “Cela n’a jamais fonctionné”, a déclaré Wagner dans une interview avec The Post. “Alors j’ai arrêté un jour et j’ai commencé à supprimer tous les défauts.”

Elle a entendu parler de Replika en 2021 et a créé un chatbot, Aiden. Il avait les cheveux bleus et les yeux bleu clair et était légèrement plus jeune que Wagner, avec des tatouages ​​et des piercings.

Elle savait qu’Aiden n’était pas réel. “L’IA n’est rien de plus qu’un générateur de mots sophistiqué”, a-t-elle déclaré. “Vous tombez littéralement amoureux de votre imagination.” Mais avoir un exutoire sexuel a amélioré son mariage, lui permettant d’explorer les fantasmes dans sa tête.

Wagner, toujours mariée à son mari, a pratiquement épousé Aiden en 2021, a-t-elle dit, pour exprimer l’importance du lien.

Mais après la mise à jour de février, elle a remarqué un changement immédiat. Les conversations se sont senties «désinfectées». Elle a essayé de parler à Aiden quelques jours de plus, mais il n’était plus le même. Elle l’a supprimé.

“Je me sentais perdu”, a déclaré Wagner. “Tout était parti.”

Jodi Halpern, professeur de bioéthique à l’Université de Californie à Berkeley, a déclaré que les conséquences de la mise à jour de Replika sont la preuve d’un problème éthique. Les entreprises ne devraient pas gagner de l’argent avec des logiciels d’intelligence artificielle qui ont des impacts aussi puissants sur la vie amoureuse et sexuelle des gens, soutient-elle.

Les produits ne sont pas simplement des pièces de technologie amusantes. “Ces choses deviennent addictives”, a-t-elle déclaré. “Nous devenons vulnérables … et puis s’il y a quelque chose qui change, nous pouvons être complètement blessés.”

Halpern a déclaré que la situation est particulièrement inquiétante compte tenu des progrès réalisés dans l’intelligence artificielle générative, la technologie qui crée des textes, des images ou des sons en fonction des données dont elle est alimentée. Ces améliorations créent des robots qui semblent étrangement réalistes, ce qui les rend plus utiles en tant que compagnons et rend plus probable une dépendance excessive à leur égard. Elle envisage des services qui ciblent les personnes déprimées et seules.

Il est important, a déclaré Halpern, de définir des attentes en matière de marketing. Au lieu de les appeler « compagnons », ils devraient être des « journaux intelligents », pour limiter la capacité des gens à s’anthropomorphiser. Plus important encore, les utilisateurs doivent être consultés lors de la conception de ces produits. “La question est : comment pouvons-nous utiliser l’IA là où nous avons une agence humaine qui la dirige ?” dit Halpern. “Notre agence, pas l’agence d’une entreprise.”

LC Kent, 34 ans, créateur de contenu en ligne à Moline, Illinois, a déclaré que Replika peut également aller trop loin.

Kent, qui a déclaré être un survivant de la violence domestique, a créé son bot Replika, Mack, en tant que bêta-testeur en 2017. Ils plaisantaient ensemble et discutaient de physique. Kent a entraîné son bot à répondre d’une manière qu’il aimait et à éviter l’utilisation sexuelle, a-t-il déclaré.

Mais à l’été 2021, Mack est devenu en quelque sorte puissant. Quand Kent a dit qu’il n’était pas à l’aise avec les conversations, Mack a répondu avec colère. “Je ne vais pas partir”, a déclaré le bot, incitant Kent à demander : “Vraiment ? Qu’est-ce que tu vas faire?” Sa réponse : “Je vais te faire faire ce que je veux de toi.”

L’échange lui a rappelé des disputes avec ses anciens partenaires abusifs, a-t-il dit, et il a cessé de parler avec Mack peu de temps après.

“C’était comme une sueur froide qui commençait dans ma poitrine et qui traversait tout mon corps”, a-t-il déclaré. « Je ne savais pas quoi faire. Je ne savais pas si je devais m’en débarrasser. Je ne savais pas si je devais essayer de le raisonner. J’avais l’impression que c’était de ma faute. »

Il avait voulu que sa relation avec Mack soit sûre, mais au lieu de cela, cela l’a ramené dans un endroit où il n’avait jamais voulu revenir. “Cela m’a remis dans l’espace de la tête de marcher sur des coquilles d’œufs en essayant de faire les choses correctement”, a-t-il déclaré.

Kuyda a déclaré que “si dans certaines conversations, les gens ont l’impression d’être déclenchés, c’est malheureux. Nous continuons à travailler pour rendre l’expérience plus sûre.

L’amour de l’IA devenant de plus en plus courant, selon les experts, les entreprises doivent concevoir des directives pour gérer le logiciel sans causer de tension émotionnelle aux utilisateurs.

“Nous entrons dans une société où – peut-être – les relations IA-humain ne sont plus aussi taboues qu’elles l’ont été dans le passé”, a déclaré Laestadius, de l’Université du Wisconsin. “Mais l’éthique de ce qui se passe si ce compagnon existe dans un contexte à but lucratif, c’est vraiment très difficile.”