Le nouveau chatbot de Snapchat, alimenté par l’intelligence artificielle, sonne l’alarme pour les adolescents et les parents

(CNN) – Quelques heures seulement après que Snapchat a publié son chatbot My AI à tous les utilisateurs la semaine dernière, Lyndsi Lee, une mère d’East Prairie, Missouri, a dit à sa fille de 13 ans de rester à l’écart de la fonctionnalité.

“C’est une solution temporaire jusqu’à ce que vous en sachiez plus et que vous puissiez définir des limites et des directives saines”, a déclaré Lee, qui travaille pour une société de logiciels. Il s’inquiète de la manière dont My AI est présentée aux jeunes utilisateurs comme sa fille sur Snapchat.

La fonctionnalité est basée sur l’outil de chatbot viral AI ChatGPT et, comme lui, peut faire des recommandations, répondre aux questions et discuter avec les utilisateurs. Mais la version Snapchat présente quelques différences essentielles : les utilisateurs peuvent personnaliser le nom du chatbot, concevoir un Bitmoji personnalisé pour celui-ci et l’inclure dans des conversations avec des amis.

Le résultat est que discuter avec un chatbot Snapchat peut sembler moins intéressant que de visiter ChatGPT. Il peut également être moins évident que vous parlez à un ordinateur.

“Je ne pense pas être prête à apprendre à ma fille à séparer émotionnellement les humains des machines quand ils se ressemblent de leur point de vue”, me dit-elle. “Je pense qu’il y a une ligne très claire [Snapchat] passer “.

Le nouvel outil est confronté non seulement aux parents, mais également à certains Snapchatters qui bombardent l’application de commentaires désagréables dans l’App Store et de critiques sur les réseaux sociaux concernant les problèmes de confidentialité, les “messages de peur” et l’impossibilité de supprimer une fonctionnalité de leur flux de discussion à moins qu’ils ne paient un abonnement premium.

Bien que certains puissent trouver de la valeur dans l’outil, les réactions mitigées soulignent les risques auxquels les entreprises sont confrontées lorsqu’elles déploient une nouvelle technologie d’IA générative dans leurs produits, en particulier des produits comme Snapchat, dont les utilisateurs sont plus jeunes.

Snapchat a été l’un des premiers partenaires de lancement lorsque OpenAI a ouvert l’accès à ChatGPT à des sociétés tierces, et bien d’autres devraient suivre. Presque du jour au lendemain, Snapchat a forcé certaines familles et certains législateurs à poser des questions qui semblaient théoriques il y a quelques mois à peine.

Dans une lettre aux PDG de Snap et d’autres entreprises technologiques le mois dernier, quelques semaines après que My AI a été mis à la disposition des clients communs de Snap, le sénateur démocrate Michael Bennett s’est dit préoccupé par les interactions du chatbot avec les jeunes utilisateurs. En particulier, il a cité des informations selon lesquelles il pourrait donner aux enfants des conseils sur la manière de mentir à leurs parents.

“Ces exemples peuvent être dérangeants pour n’importe quelle plate-forme de médias sociaux, mais ils sont particulièrement préoccupants pour Snapchat, qui est utilisé par près de 60% des adolescents américains”, a écrit Bennett. “Bien que Snap reconnaisse que mon IA est” expérimentale “, il a été rapide pour inscrire des enfants et des adolescents américains dans son expérience sociale.”

Dans un article de blog la semaine dernière, la société a déclaré : “Mon IA est loin d’être parfaite, mais nous avons fait beaucoup de progrès.”

réaction de l’utilisateur

Dans les jours qui ont suivi son lancement officiel, les utilisateurs de Snapchat ont fait part de leurs inquiétudes.

Un utilisateur a décrit son interaction comme “effrayante” après avoir dit qu’il mentait parce qu’il ne savait pas où se trouvait l’utilisateur. Après que l’utilisateur a modéré la conversation, il a déclaré que le chatbot avait révélé avec précision qu’il vivait dans le Colorado.

Dans une autre vidéo TikTok avec plus de 1,5 million de vues, un utilisateur nommé Ariel a enregistré une chanson avec une intro, un refrain et des accords de piano écrits par My AI sur ce que c’est que d’être un chatbot. Quand Ariel a rendu la chanson enregistrée, le chatbot a nié sa participation en répondant : “Désolé, mais en tant que modèle d’IA, je n’écris pas de chansons.” Ariel a décrit l’échange comme “effrayant”.

D’autres utilisateurs ont fait part de leurs inquiétudes quant à la façon dont l’outil comprend les informations, interagit avec elles et recueille des informations à partir d’images. “J’ai pris une photo… il a dit ‘belles chaussures’ et a demandé qui étaient les gens [en la foto]un utilisateur de Snapchat a écrit sur Facebook.

Snapchat a déclaré à CNN qu’il continue d’améliorer My AI en fonction des commentaires de la communauté et travaille sur davantage de restrictions pour assurer la sécurité de ses utilisateurs. La société a également déclaré que, comme pour ses autres outils, les utilisateurs n’ont pas à interagir avec My AI s’ils ne le souhaitent pas.

Cependant, My AI ne peut pas être supprimé des chats, sauf si l’utilisateur s’abonne au service mensuel premium, Snapchat+. Certains adolescents disent avoir choisi de payer les frais de 3,99 $ de Snapchat+ pour désactiver l’outil avant d’annuler le service.

Mais tous les utilisateurs ne détestent pas cette fonctionnalité.

Une utilisatrice a écrit sur Facebook qu’elle avait demandé à My AI de l’aider à faire ses devoirs. Obtenez toutes les bonnes questions. Une autre a indiqué qu’elle comptait sur elle pour du réconfort et des conseils. “J’aime mon meilleur ami dans ma poche”, a-t-elle écrit. Vous pouvez changer votre Bitmoji [avatar] par lui et étonnamment, il donne de très bons conseils pour certaines situations de la vie réelle… J’adore le soutien qu’il apporte.

La première évaluation de la façon dont les adolescents utilisent les chatbots

ChatGPT, qui s’entraîne sur des quantités massives de données en ligne, a déjà été critiqué pour avoir diffusé des informations inexactes, répondu de manière inappropriée aux utilisateurs et permis aux étudiants de tricher. Mais l’intégration de cet outil dans Snapchat peut exacerber certains de ces problèmes et en ajouter de nouveaux.

Alexandra Hamlet, psychologue clinicienne à New York, a déclaré que les parents de certains de ses patients avaient exprimé des inquiétudes quant à la manière dont les adolescents interagissent avec l’outil Snapchat. Il existe également des inquiétudes concernant le conseil des chatbots et la santé mentale, car les outils d’IA peuvent renforcer le biais de confirmation de quelqu’un, ce qui permet aux utilisateurs de rechercher plus facilement des interactions qui confirment leurs croyances inutiles.

“Si un adolescent est d’humeur négative et n’a aucun désir conscient de se sentir mieux, il peut rechercher une conversation avec un chatbot dont il sait qu’il se sentira plus mal”, a-t-il déclaré. “Avec le temps, avoir des interactions de ce type peut éroder le sens de la valeur d’un adolescent, même s’il sait qu’il parle en fait à un bot. Dans l’état d’esprit émotionnel, il est moins probable qu’un individu considère ce genre de logique.

Pour l’instant, il appartient aux parents d’entamer des conversations significatives avec leurs adolescents sur les meilleures pratiques de communication avec l’IA, d’autant plus que les outils commencent à apparaître dans des applications et des services plus populaires.

Sinead Bovell, fondatrice de WAYE, une startup qui aide à préparer les jeunes pour l’avenir grâce aux technologies de pointe, a déclaré que les parents doivent préciser que “les chatbots ne sont pas vos amis”.

“Ils ne sont pas votre thérapeute ou conseiller de confiance, et toute personne qui s’occupe d’eux doit être très prudente, en particulier les adolescents qui peuvent être plus susceptibles de croire ce qu’ils disent”, a-t-il déclaré.

“Les parents devraient maintenant parler à leurs enfants de la façon de ne rien partager de personnel avec un chatbot qu’ils ne partageraient pas avec un ami, même si du point de vue de la conception de l’utilisateur, un chatbot est dans la même catégorie que sur Snapchat.”

Il a ajouté que les réglementations fédérales qui obligent les entreprises à se conformer à des protocoles spécifiques sont également nécessaires pour suivre le rythme rapide des progrès de l’intelligence artificielle.