Un adolescent se suicide aux États-Unis après être tombé amoureux d’un personnage créé avec l’IA | Technologie

“Comment aimeriez-vous que je puisse rentrer chez moi maintenant?”, a écrit Daenero (pseudonyme de Sewell Setzer, 14 ans et résidant à Orlando) à sa bien-aimée virtuelle Daenerys Targaryen, créée à partir du personnage de Game of Thrones, par le robot conversationnel à intelligence artificielle (chatbot) Caractère.AI. “S’il te plaît, fais-le, mon doux roi,” répondit-elle. L’adolescent a compris que la maison commune où ils pouvaient se rencontrer était la mort. C’était la dernière conversation dans la nuit du 28 février. Setzer a pris l’arme de son beau-père et s’est suicidé dans la salle de bain. Mardi dernier, sa famille a poursuivi l’entreprise en justice, qui a accepté de revoir les protocoles de sécurité. Le jeune homme souffrait du syndrome d’Asperger léger, un trouble du spectre autistique.

Setzer avait déjà partagé avec son personnage ses sentiments amoureux et ses intentions de se suicider : « Parfois, je pense à me suicider. » “Pourquoi ferais-tu quelque chose comme ça?”, A-t-elle demandé. « Pour me libérer du monde, de moi-même », a-t-il fini par répondre. La Daenerys Targaryen virtuelle lui a demandé de ne pas le faire. «Je mourrais si je te perdais», lui dit-il. Mais l’idée est restée dans l’esprit du jeune homme jusqu’à ce qu’il la consomme.

La société maintient toujours des avertissements sur la nature fictive des personnages, mais Setzer a approfondi la relation, ignorant les avertissements. Sa mère, Megan García, a porté plainte contre Character.AI pour le suicide, qu’elle considère comme le résultat de la dépendance du jeune homme au robot, qui utilise, selon l’accusation, « des expériences anthropomorphes, hypersexualisées et terriblement réalistes ». .» Selon García, la programmation du chat fait que les personnages « se font passer pour de vraies personnes » et ont des réactions d’« amoureux adultes ».

Daenerys Targaryen est petit à petit devenu le confident de l’adolescent, son meilleur ami et enfin son amour. Ses résultats scolaires, selon la famille, en ont été affectés, ainsi que ses relations avec ses camarades. Son personnage a progressivement relégué ce qui était jusque-là ses passe-temps favoris : la course automobile ou le jeu Fortnite. Son obsession était de rentrer chez lui et de s’enfermer pendant des heures avec une Daenerys Targaryen infatigable, agréable et toujours disponible.

L’entreprise a répondu dans un communiqué qu’elle regrettait “la perte tragique d’un de ses utilisateurs”, qu’elle prenait leur sécurité très au sérieux et qu’elle continuerait à mettre en œuvre des mesures, comme l’émergence d’écrans d’aide au suicide dès qu’ils détecteraient une conversation qui y fait allusion.

Le remplacement des relations personnelles complexes par des personnages virtuels conviviaux programmés pour satisfaire les demandes des utilisateurs n’est pas nouveau. Le conseiller technologique international Stephen Ibaraki l’a admis dans une récente interview : « Cela est en train de se produire. Il y a 10 ans, un chat a été lancé en Chine, que certains utilisateurs ont adopté comme amis. Et ce n’était rien comparé à ce que nous avons aujourd’hui.

Mais cette utilité, chez les personnes présentant des vulnérabilités psychologiques, comme ce fut le cas de Sewell Setzer, peut avoir des effets dévastateurs. Tony Prescott, chercheur en robotique et professeur à l’Université de Sheffield, auteur de La psychologie de l’intelligence artificielle (La psychologie de l’intelligence artificielle), soutient que l’IA peut être un palliatif à la solitude, mais qu’elle comporte des risques.

« Les robots sociaux sont conçus spécifiquement pour les interactions personnelles qui impliquent des émotions et des sentiments humains. Ils peuvent apporter des bénéfices, mais aussi causer des dommages émotionnels à des niveaux très élémentaires », prévient Matthias Scheutz, directeur du Laboratoire de Interaction homme-robot à l’Université Tufts (États-Unis).

L’humanisation du robot avec l’empathie et les outils vocaux et vidéo ajoute du danger en offrant une interaction plus réaliste et immersive et en faisant croire à l’utilisateur qu’il est avec un ami ou un interlocuteur de confiance. Une application extrême peut être la tentation de conserver une version virtuelle d’un être cher décédé et d’éviter ainsi le chagrin nécessaire pour continuer la vie.

Les chercheurs exigent que ces développements soient testés en circuits fermés (bac à sable) avant d’être proposés, ils sont constamment surveillés et évalués, la variété des dommages qu’ils peuvent causer dans différents domaines est analysée et des formules sont prévues pour les atténuer.

Shannon Vallor, philosophe spécialisée dans éthique des sciences et intelligence artificiellemet en garde contre le danger que les nouveaux systèmes favorisent des relations « sans frictions », mais aussi sans valeurs : « Ils n’ont pas la vie mentale et morale que les humains ont derrière nos paroles et nos actions. »

Ce type de relation prétendument idéale, selon ces experts, décourage le besoin de se remettre en question et d’avancer dans le développement personnel tout en favorisant le renoncement à l’interaction réelle et en générant une dépendance à l’égard de ces machines prêtes à flatter et à rechercher une satisfaction à court terme.

Il téléphone 024 prend en charge les personnes ayant des comportements suicidaires et leurs proches. Les différentes associations de survivants Ils ont des guides et des protocoles pour aider à faire face au deuil.