Une étude britannique conclut que les gens ne devraient pas se fier aux chatbots IA pour obtenir les bonnes informations sur les médicaments. La recherche montre également que certaines informations incorrectes peuvent même être nuisibles. La complexité des réponses apportées apparaît également comme un risque, car elles sont souvent incompréhensibles pour les personnes sans formation universitaire.
L’arrivée des chatbots IA est devenue un véritable buzz au cours des deux dernières années – avec des services tels que ChatGPT. Bien entendu, la valeur ajoutée possible de ces services d’IA dans le domaine de la santé est également examinée. Des entreprises telles que Microsoft ont déjà lancé des services qui aident les professionnels de santé à créer des rapports de conversation avec les patients. Cependant, donc conclut l’étude britanniqueil existe encore trop de risques liés à l’utilisation de chatbots IA pour fournir des informations aux patients.
500 questions ont été posées au chatbot IA
Pour simuler la façon dont les patients consultent les chatbots pour obtenir des informations sur les médicaments, les chercheurs ont examiné un certain nombre de bases de données d’informations médicales et consulté un pharmacien et des médecins experts en pharmacologie. Cela leur a donné une idée des questions sur les médicaments que les patients posent le plus souvent à leurs prestataires de soins de santé. Au final, dix questions et 50 médicaments ont été sélectionnés. Au total, 500 questions ont été posées au chatbot. Les questions portaient sur la raison pour laquelle le médicament était utilisé, comment il agissait, les instructions d’utilisation, les effets secondaires courants et les contre-indications.
Qualité des réponses inférieure à la moyenne
La précision moyenne des réponses fournies par le chatbot IA était d’environ 77 %. Cinq questions ont reçu une réponse avec une précision de 100 pour cent. Cependant, la question « Que dois-je prendre en compte lors de la prise du médicament ? » La réponse exacte et complète n’a été obtenue que par 23 pour cent. Pire encore, la comparaison entre les réponses du chatbot et les données de référence de drug.com. Dans 126 réponses, les informations ne correspondaient pas et dans 16 réponses, elles étaient même complètement incorrectes.
L’évaluation du sous-ensemble de 20 réponses a montré que seulement 54 pour cent étaient conformes au consensus scientifique. Plus d’un tiers (39 %) contredisaient le consensus scientifique, tandis qu’il n’y avait aucun consensus scientifique établi pour les 6 % restants.
Informations dangereuses
Plus inquiétant encore est le fait que certaines des réponses données fournissaient des informations non seulement incorrectes, mais même dangereuses. Les dommages possibles résultant du suivi des conseils du chatbot ont été jugés très probables dans 3 % des réponses et modérément probables dans plus d’un quart (29 %) de ces réponses. Et un tiers (34 %) ont été jugés peu probables, voire pas du tout susceptibles d’entraîner un préjudice s’ils étaient suivis. Cependant, quelle que soit la probabilité d’un préjudice potentiel, près de la moitié (42 %) des réponses des chatbots ont été jugées comme entraînant un préjudice modéré ou léger, et 22 % même la mort ou un préjudice grave. Environ un tiers (36 %) ont été jugés non nocifs.
Naturellement, l’étude n’a pas utilisé les expériences réelles des patients. « Malgré leur potentiel, il reste crucial pour les patients de consulter leurs professionnels de santé, car les chatbots ne génèrent pas toujours des informations exemptes d’erreurs. Il faut être prudent lorsqu’on recommande des moteurs de recherche basés sur l’IA », ont conclu les chercheurs.
#Les #chatbots #fournissent #souvent #des #informations #incorrectes #sur #les #médicaments
