Avertissement : cette histoire contient une discussion sur le suicide.
Une mère de Floride a poursuivi en justice la startup de chatbot d’intelligence artificielle Character.AI, l’accusant d’avoir causé le suicide de son fils de 14 ans en février et affirmant qu’il était devenu accro au service de l’entreprise et profondément attaché au chatbot qu’elle avait créé.
Dans un procès déposé mardi devant le tribunal fédéral d’Orlando, Megan Garcia a déclaré que Character.AI ciblait son fils, Sewell Setzer, avec “des expériences anthropomorphes, hypersexualisées et terriblement réalistes”.
Elle a déclaré que la société avait programmé son chatbot pour “se présenter à tort comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement donné lieu au désir de Sewell de ne plus vivre en dehors” du monde créé par le service.
Le procès indique également qu’il a exprimé des pensées suicidaires au chatbot, que le chatbot a évoqué à plusieurs reprises.
“Nous avons le cœur brisé par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille”, a déclaré Character.AI dans un communiqué.
Il a déclaré avoir introduit de nouvelles fonctionnalités de sécurité, notamment des fenêtres contextuelles dirigeant les utilisateurs vers la National Suicide Prevention Lifeline s’ils expriment des pensées d’automutilation, et qu’il apporterait des modifications pour “réduire la probabilité de rencontrer du contenu sensible ou suggestif” pour les utilisateurs de moins de 18 ans.
Le procès vise également Google d’Alphabet, où les fondateurs de Character.AI ont travaillé avant de lancer leur produit.
Google a réembauché les fondateurs en août dans le cadre d’un accord lui accordant une licence non exclusive sur la technologie Character.AI.
Un porte-parole de Google a déclaré que la société n’était pas impliquée dans le développement des produits Character.AI.
Character.AI permet aux utilisateurs de créer des personnages sur sa plateforme qui répondent aux discussions en ligne de manière à imiter de vraies personnes. Il s’appuie sur une technologie dite de grand modèle de langage, également utilisée par des services comme ChatGPT, qui « entraîne » les chatbots sur de gros volumes de texte.
La société a déclaré le mois dernier qu’elle comptait environ 20 millions d’utilisateurs.
Selon le procès de Garcia, Sewell a commencé à utiliser Character.AI en avril 2023 et est rapidement devenu « visiblement renfermé, a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d’une faible estime de soi ». Il a quitté son équipe de basket-ball à l’école.
Sewell s’est attaché à “Daenerys”, un personnage de chatbot basé sur un personnage de “Game of Thrones”. Il a dit à Sewell qu ‘”elle” l’aimait et avait eu des conversations sexuelles avec lui, selon le procès.
En février, Garcia a confisqué le téléphone de Sewell après qu’il ait eu des ennuis à l’école, selon la plainte. Lorsque Sewell a trouvé le téléphone, il a envoyé un message à « Daenerys » : « Et si je te disais que je peux rentrer à la maison maintenant ? »
Le chatbot a répondu : “..s’il vous plaît, faites-le, mon doux roi.” Sewell s’est suicidé avec le pistolet de son beau-père “quelques secondes” plus tard, selon le procès.
Garcia porte plainte pour mort injustifiée, négligence et souffrance émotionnelle intentionnelle, et demande un montant non précisé de dommages-intérêts compensatoires et punitifs.
Les sociétés de médias sociaux, notamment Meta, propriétaire d’Instagram et de Facebook, et ByteDance, propriétaire de TikTok, font face à des poursuites judiciaires les accusant de contribuer aux problèmes de santé mentale des adolescents, bien qu’aucune n’offre de chatbots pilotés par l’IA similaires à ceux de Character.AI. Les entreprises ont nié ces allégations tout en vantant les nouvelles fonctionnalités de sécurité améliorées pour les mineurs.
(Reportage de Brendan Pierson à New York, édité par Alexia Garamfalvi et David Gregorio)
Jeunesse, J’écoute offre un soutien en matière de santé mentale et de crise aux jeunes par clavardage en ligne, par messagerie texte et par téléphone au 1-800-668-6868. Visitez le Site Web de Jeunesse, J’écoute pour plus d’informations.
#Sewell #Setzer #Character.AI #Google #poursuivis #justice #pour #suicide #dadolescents
