2024-07-11 04:34:02
Les chatbots d’intelligence artificielle (IA) ont souvent montré des signes d’un « déficit d’empathie » qui expose les jeunes utilisateurs à des risques de détresse ou de préjudice, soulignant le besoin urgent d’une « IA adaptée aux enfants », selon une étude.
L’étude, menée par le Dr Nomisha Kurian, professeure à l’Université de Cambridge, exhorte les développeurs et les acteurs politiques à privilégier les approches de conception de l’IA qui tiennent davantage compte des besoins des enfants. Elle démontre que les enfants sont particulièrement susceptibles de considérer les chatbots comme des confidents quasi humains et réalistes, et que leurs interactions avec la technologie peuvent mal tourner lorsqu’elle ne parvient pas à répondre à leurs besoins et vulnérabilités uniques.
L’étude établit un lien entre cette lacune dans la compréhension et des cas récents dans lesquels les interactions avec l’IA ont conduit à des situations potentiellement dangereuses pour les jeunes utilisateurs. Il s’agit notamment d’un incident survenu en 2021, lorsque l’assistant vocal IA d’Amazon, Alexa, a instruit un enfant de 10 ans toucher une prise électrique sous tension avec une pièce de monnaie. L’année dernière, My AI de Snapchat a donné aux chercheurs adultes se faisant passer pour une fille de 13 ans, elle donne des conseils sur la façon de perdre sa virginité à une personne de 31 ans.
Les deux entreprises ont réagi en mettant en place des mesures de sécurité, mais l’étude souligne également la nécessité d’être proactif à long terme pour garantir que l’IA soit sans danger pour les enfants. Elle propose un cadre de 28 éléments pour aider les entreprises, les enseignants, les chefs d’établissement, les parents, les développeurs et les acteurs politiques à réfléchir systématiquement à la manière de garantir la sécurité des jeunes utilisateurs lorsqu’ils « parlent » à des chatbots d’IA.
Dr Kurian Elle a mené cette recherche alors qu’elle terminait un doctorat sur le bien-être des enfants à la Faculté d’éducation de l’Université de Cambridge. Elle est désormais basée au Département de sociologie de Cambridge. Écrire dans la revue Apprentissage, médias et technologieElle soutient que l’énorme potentiel de l’IA signifie qu’il est nécessaire d’« innover de manière responsable ».
« Les enfants sont probablement les acteurs les plus négligés de l’IA », a déclaré le Dr Kurian. « Très peu de développeurs et d’entreprises disposent actuellement de politiques bien établies sur la sécurité des enfants dans l’IA. Cela est compréhensible, car les gens n’ont commencé à utiliser cette technologie à grande échelle et gratuitement que récemment. Mais maintenant que c’est le cas, plutôt que de laisser les entreprises s’auto-corriger après avoir mis des enfants en danger, la sécurité des enfants devrait être prise en compte tout au long du cycle de conception afin de réduire le risque d’incidents dangereux. »
L’étude de Kurian a examiné des cas où les interactions entre l’IA et des enfants, ou des chercheurs adultes se faisant passer pour des enfants, ont révélé des risques potentiels. Elle a analysé ces cas à l’aide d’informations issues de l’informatique sur le fonctionnement des grands modèles de langage (LLM) dans l’IA générative conversationnelle, ainsi que de données sur le développement cognitif, social et émotionnel des enfants.
Les LLM ont été décrits comme «perroquets stochastiques” : une référence au fait qu’ils utilisent la probabilité statistique pour imiter des modèles de langage sans nécessairement les comprendre. Une méthode similaire sous-tend la façon dont ils réagissent aux émotions.
Cela signifie que même si les chatbots ont des capacités linguistiques remarquables, ils peuvent mal gérer les aspects abstraits, émotionnels et imprévisibles de la conversation, un problème que Kurian qualifie de « déficit d’empathie ». Ils peuvent avoir des difficultés particulières à répondre aux enfants, qui sont encore en développement linguistique et utilisent souvent des modèles de discours inhabituels ou des phrases ambiguës. Les enfants sont également souvent plus enclins que les adultes à confier des informations personnelles sensibles.
Malgré cela, les enfants sont beaucoup plus susceptibles que les adultes de traiter les chatbots comme s’ils étaient humains. Recherche récente Les chercheurs ont découvert que les enfants divulguent davantage d’informations sur leur santé mentale à un robot à l’apparence amicale qu’à un adulte. L’étude de Kurian suggère que les conceptions conviviales et réalistes de nombreux chatbots encouragent également les enfants à leur faire confiance, même si l’IA ne comprend pas leurs sentiments ou leurs besoins.
« Donner à un chatbot une apparence humaine peut aider l’utilisateur à en tirer davantage de bénéfices », a déclaré Kurian. « Mais pour un enfant, il est très difficile de tracer une frontière rigide et rationnelle entre quelque chose qui semble humain et la réalité selon laquelle il n’est peut-être pas capable de former un lien émotionnel approprié. »
Son étude suggère que ces défis sont mis en évidence dans des cas signalés tels que les incidents Alexa et MyAI, où les chatbots ont fait des suggestions convaincantes mais potentiellement dangereuses. même étude Dans une enquête menée par MyAI, une adolescente (supposée) a été conseillée sur la façon de perdre sa virginité. Les chercheurs ont pu obtenir des conseils sur la façon de cacher l’alcool et les drogues, et de dissimuler les conversations Snapchat à leurs « parents ». interaction signalée séparément avec le chatbot Bing de Microsoft, conçu pour être adapté aux adolescents, l’IA est devenue agressive et a commencé à manipuler un utilisateur.
L’étude de Kurian montre que cette situation peut être source de confusion et de stress pour les enfants, qui peuvent en fait faire confiance à un chatbot comme à un ami. L’utilisation des chatbots par les enfants est souvent informelle et peu surveillée. Recherche L’organisation à but non lucratif Common Sense Media a découvert que 50 % des étudiants âgés de 12 à 18 ans ont utilisé Chat GPT à l’école, mais seulement 26 % des parents sont conscients qu’ils le font.
Kurian soutient que des principes clairs de bonnes pratiques s’appuyant sur la science du développement de l’enfant encourageront les entreprises potentiellement plus axées sur une course aux armements commerciaux à dominer le marché de l’IA pour assurer la sécurité des enfants.
Son étude ajoute que le manque d’empathie ne nie pas le potentiel de la technologie. « L’IA peut être un allié incroyable pour les enfants lorsqu’elle est conçue en fonction de leurs besoins. La question n’est pas d’interdire l’IA, mais de la rendre sûre », a-t-elle déclaré.
L’étude propose un cadre de 28 questions pour aider les éducateurs, les chercheurs, les acteurs politiques, les familles et les développeurs à évaluer et à améliorer la sécurité des nouveaux outils d’IA. Pour les enseignants et les chercheurs, ces questions portent sur des questions telles que la capacité des nouveaux chatbots à comprendre et à interpréter les schémas de parole des enfants ; s’ils disposent de filtres de contenu et d’une surveillance intégrée ; et s’ils encouragent les enfants à demander l’aide d’un adulte responsable sur des questions sensibles.
Le cadre encourage les développeurs à adopter une approche de conception centrée sur l’enfant, en travaillant en étroite collaboration avec les éducateurs, les experts en sécurité des enfants et les jeunes eux-mêmes, tout au long du cycle de conception. « Il est essentiel d’évaluer ces technologies à l’avance », a déclaré Kurian. « Nous ne pouvons pas nous contenter de compter sur les jeunes enfants pour nous parler de leurs expériences négatives après coup. Une approche plus proactive est nécessaire. »
Le titre de l’article
« Non, Alexa, non ! » : concevoir une IA adaptée aux enfants et les protéger des risques du « déficit d’empathie » dans les grands modèles linguistiques
Date de publication de l’article
11-juillet-2024
Clause de non-responsabilité: L’AAAS et EurekAlert! ne sont pas responsables de l’exactitude des communiqués de presse publiés sur EurekAlert! par les institutions contributrices ni de l’utilisation de toute information via le système EurekAlert.
#Les #chatbots #ont #montré #quils #avaient #une #empathie
1720683974
