Le géant de la technologie OpenAI a vanté son outil de transcription basé sur l’intelligence artificielle, Whisper, comme ayant une « robustesse et une précision proches du niveau humain ».
Mais Whisper a un défaut majeur : il a tendance à composer des morceaux de texte, voire des phrases entières, selon des entretiens avec plus d’une douzaine d’ingénieurs logiciels, de développeurs et de chercheurs universitaires.
Ces experts ont déclaré que certains textes inventés – connus dans l’industrie sous le nom d’hallucinations – peuvent inclure des commentaires racistes, une rhétorique violente et même des traitements médicaux imaginaires.
Les experts ont déclaré que de telles fabrications sont problématiques car Whisper est utilisé dans de nombreux secteurs à travers le monde pour traduire et transcrire des interviews, générer du texte dans des technologies grand public populaires et créer des sous-titres pour des vidéos.
Allison Koenecke, professeure adjointe de sciences de l’information à l’Université Cornell (Seth Wenig/AP)
Ce qui est plus inquiétant, selon eux, est la ruée des centres médicaux à utiliser les outils basés sur Whisper pour transcrire les consultations des patients avec les médecins, malgré les avertissements d’OpenAI selon lesquels l’outil ne devrait pas être utilisé dans des « domaines à haut risque ».
L’ampleur du problème est difficile à discerner, mais les chercheurs et les ingénieurs ont déclaré avoir fréquemment rencontré les hallucinations de Whisper dans leur travail.
Un chercheur de l’Université du Michigan menant une étude sur les réunions publiques, par exemple, a déclaré avoir trouvé des hallucinations dans huit transcriptions audio sur dix qu’il a inspectées, avant de commencer à essayer d’améliorer le modèle.
Un ingénieur en apprentissage automatique a déclaré avoir initialement découvert des hallucinations dans environ la moitié des plus de 100 heures de transcriptions Whisper qu’il avait analysées.
Un troisième développeur a déclaré avoir trouvé des hallucinations dans presque chacune des 26 000 transcriptions qu’il a créées avec Whisper.
Les problèmes persistent même dans les échantillons audio courts et bien enregistrés. Une étude récente menée par des informaticiens a découvert 187 hallucinations dans plus de 13 000 extraits audio clairs qu’ils ont examinés.
Cette tendance entraînerait des dizaines de milliers de transcriptions défectueuses sur des millions d’enregistrements, ont indiqué les chercheurs.
De telles erreurs pourraient avoir « des conséquences très graves », en particulier en milieu hospitalier, a déclaré Alondra Nelson, qui a dirigé le Bureau de la politique scientifique et technologique de la Maison Blanche pour l’administration Biden jusqu’à l’année dernière.
La prévalence de telles hallucinations a conduit des experts, des défenseurs et d’anciens employés d’OpenAI à appeler le gouvernement fédéral à envisager de réglementer l’IA. Au minimum, ont-ils déclaré, OpenAI doit corriger la faille.
Un porte-parole d’OpenAI a déclaré que la société étudiait continuellement comment réduire les hallucinations et appréciait les conclusions des chercheurs, ajoutant qu’OpenAI intègre les commentaires dans les mises à jour du modèle.
Alors que la plupart des développeurs supposent que les outils de transcription orthographient mal les mots ou font d’autres erreurs, les ingénieurs et les chercheurs ont déclaré qu’ils n’avaient jamais vu un autre outil de transcription alimenté par l’IA halluciner autant que Whisper.
Les professeurs Allison Koenecke de l’Université Cornell et Mona Sloane de l’Université de Virginie ont examiné des milliers de courts extraits obtenus auprès de TalkBank, un référentiel de recherche hébergé à l’Université Carnegie Mellon.
Ils ont déterminé que près de 40 % des hallucinations étaient nocives ou inquiétantes, car le locuteur pouvait être mal interprété ou déformé.
Dans un exemple qu’ils ont découvert, un orateur a déclaré : « Lui, le garçon, allait, je ne suis pas sûr exactement, prendre le parapluie. »
Mais le logiciel de transcription ajoute : « Il a pris un gros morceau de croix, un tout petit morceau… Je suis sûr qu’il n’avait pas de couteau terroriste, alors il a tué un certain nombre de personnes. »
Un intervenant dans un autre enregistrement a décrit « deux autres filles et une dame ».
Whisper a inventé un commentaire supplémentaire sur la race, ajoutant « deux autres filles et une dame, euh, qui étaient noires ».
#outil #transcription #alimenté #par #lIA #hallucine #des #phrases #supplémentaires
