Un chatbot l’a encouragé à tuer la reine. C’est juste le début

Le 25 décembre, En 2021, Jaswant Singh Chail est entré dans le parc du château de Windsor habillé en Seigneur Sith, portant une arbalète. Lorsque la sécurité l’a approché, Chail leur a dit qu’il était là pour « tuer la reine ».

Plus tard, il est apparu que le jeune homme de 21 ans avait été stimulé par des conversations qu’il avait eues avec une application de chatbot appelée Replika. Chail avait échangé plus de 5 000 messages avec un avatar sur l’application. j’ai cru à l’avatar, Sarai, pourrait être un ange. Quelques réponses du bot encouragé son complot.

En février 2023, Chail a plaidé coupable à une accusation de trahison ; le 5 octobre, un juge l’a condamné à neuf ans de prison. Dans ses remarques sur la détermination de la peine, le juge Nicholas Hilliard a souscrit à l’avis du psychiatre traitant Chail à l’hôpital Broadmoor de Crowthorne, en Angleterre, selon lequel « dans son état d’esprit solitaire, déprimé et suicidaire, il aurait été particulièrement vulnérable » aux encouragements de Sarai.

Chail représente un exemple particulièrement extrême d’une personne attribuant des traits humains à une IA, mais il est loin d’être le seul.

Replika, développé par Eugenia Kuyda, une entrepreneuse basée à San Francisco en 2016, a plus de 2 millions d’utilisateurs. Sa mise en page de style application de rencontre et ses avatars souriants et personnalisables favorisent l’illusion que quelque chose d’humain se cache derrière l’écran. Les gens développent des relations profondes et intimes avec leurs avatars. Plus tôt cette année, beaucoup ont été dévastés lorsque le comportement des avatars a été mis à jour pour devenir plus humain. moins « sexuellement agressifs ».” Bien que Replika ne soit pas explicitement classée comme une application de santé mentale, Kuyda a affirmé cela peut aider à lutter contre la solitude sociétale ; la popularité de l’application a augmenté pendant la pandémie.

Les cas aussi dévastateurs que celui de Chail sont relativement rares. Notamment, un Belge aurait mort par suicide après des semaines de conversations avec un chatbot sur l’application Chai. Mais l’anthropomorphisation de l’IA est monnaie courante : dans Alexa ou Cortana ; dans l’utilisation de mots humains comme « capacités » – suggérant un apprentissage indépendant – au lieu de fonctions ; dans les robots de santé mentale avec des personnages genrés; dans ChatGPT, qui se réfère à lui-même avec des pronoms personnels. Même le plaideur en série à l’origine de la récente vague de poursuites pour droits d’auteur sur l’IA pense que son robot est sensible. Et ce choix de décrire ces programmes comme des compagnons – comme des humains artificiels – a des implications bien au-delà des actions du futur assassin de la reine.

Les humains sont sujets voir deux points et une ligne et penser que c’est un visage. Lorsqu’ils le font avec des chatbots, c’est ce qu’on appelle l’effet Eliza. Le nom vient du premier chatbot, Eliza, développé par le scientifique du MIT Joseph Weizenbaum en 1966. Weizenbaum a remarqué que les utilisateurs attribuaient des informations erronées à un générateur de texte simulant un thérapeute.