Marta Costa-Jussà, chercheuse : « Le langage a de nombreuses subtilités que l’IA ne peut capter » | Technologie

En 2022, Meta a présenté un traducteur automatique révolutionnaire capable de fonctionner en 200 langues. Les traductions sont réalisées en temps réel et avec une efficacité bien supérieure à la moyenne. « Pour donner une idée de l’ampleur du programme, le modèle en 200 langues analyse plus de 50 milliards de paramètres. Nous l’avons formé à l’aide du Research SuperCluster, l’un des superordinateurs les plus rapides au monde », a déclaré le PDG et fondateur de l’entreprise, Mark Zuckerberg, lors de sa présentation.

Derrière ce développement pionnier se trouve Marta Costa-Jussà (Sabadell, 42 ans), chercheuse de l’équipe FAIR (Facebook Artificial Intelligence Research), l’un des laboratoires les plus puissants au monde en matière d’intelligence artificielle (IA). Costa-Jussà fait partie de la trentaine de scientifiques – parmi lesquels des ingénieurs comme elle, mais aussi des linguistes, des data scientists, des sociologues et des experts en éthique – qui ont développé ce modèle appelé NLLB-200 (acronyme de Aucune langue n’est laissée de côté: en anglais, aucune langue n’est laissée de côté). La Catalane est l’une des coordinatrices d’un article récemment signé avec ses collègues dans le magazine Nature dans lequel ils décrivent les détails de leur outil.

Costa-Jussà travaille à FAIR depuis 2022. Ingénieure en télécommunications de l’Université Politècnica de Catalunya (UPC), elle a obtenu son doctorat dans ce même centre et a ensuite effectué des séjours postdoctoraux à Paris, São Paulo, Mexico, Singapour et Édimbourg. Toujours autour de son thème : la traduction automatique. Alors qu’il s’installe à Barcelone, où il a finalement obtenu une place permanente à l’UPC, il reçoit un email de Meta. Ils le voulaient pour leur projet NLLB-200. “Cela m’a frappé juste au moment où j’avais réussi à être là où j’avais toujours voulu être, mais après avoir fait les interviews, je n’en doutais plus : l’équipe était géniale et le projet était très intéressant”, explique-t-il par appel vidéo de Paris, où il vit depuis. En plus de faire des recherches, Costa-Jussà aime raconter des histoires à ses trois enfants, ce qui l’a amenée à publier l’année dernière un roman jeunesse dans lequel il mélange aventures et diffusion sur l’IA.

Demander. Quelle est la particularité de votre traducteur par rapport aux autres ?

Répondre. Nous avons développé le premier système de traduction en temps réel fonctionnant en 200 langues. Le plus drôle, c’est que les traductions peuvent être effectuées entre n’importe quelle paire de langues parmi ces 200, sans avoir à passer par l’anglais, comme cela arrive habituellement. Et la qualité de la traduction est la meilleure que l’on puisse obtenir actuellement. Aujourd’hui encore, après deux ans, notre système sert de référence dans de nombreux articles scientifiques.

P. Comment y sont-ils parvenus ?

R. Bref, le système fonctionne après traitement de traductions parallèles. Laissez-moi vous expliquer. Vous disposez de documents dans de nombreuses paires de langues, alignées au niveau des phrases. Par exemple, j’ai une phrase en catalan et sa traduction correspondante en anglais ou en mandarin. Lorsque vous disposez d’un grand nombre de ces textes, vous les insérez dans un modèle neuronal d’apprentissage en profondeur et l’algorithme en extrait des modèles. À partir de là, le système apprend à généraliser. Alors se produit un processus extraordinaire : une sorte de connaissance émerge après avoir vu tant de données, et cela permet, par exemple, de faire des traductions directes du catalan vers le yoruba, même si nous n’avons pas de textes parallèles dans ces deux langues en particulier. , et, par conséquent, le système ne peut pas avoir appris cette traduction. Ceci est possible car l’outil apprend à généraliser entre des paires de textes et à l’extrapoler à d’autres cas dont il ne dispose pas d’exemples.

P. Comment cela se fait-il ?

R. Avec beaucoup de données, une grande puissance de calcul et un algorithme mathématique capable de combiner tout cela. Fondamentalement, vous disposez d’une phrase d’entrée dont vous faites une représentation mathématique. Vous transformez les phrases en vecteurs mathématiques, et ces vecteurs mathématiques sont transformés en phrases de sortie. Tout traverse un espace hautement multidimensionnel. Évidemment, il faut beaucoup de puissance de calcul car, pour que le système se généralise, il lui faut des millions et des millions de phrases parallèles. Notre contribution originale a été de développer un outil capable de digérer tous ces exemples.

P. Il dit qu’ils ont besoin de millions de phrases parallèles. Mais que se passe-t-il lorsqu’il n’existe pas de corpus aussi étendus, comme c’est le cas en swahili ou dans d’autres langues mal numérisées ?

R. Nous avons parcouru Internet et développé un algorithme capable de paralléliser textes, pour trouver parmi les données ouvertes de l’Internet quels textes sont la traduction d’autres. Cette phase d’extraction des données est automatique. A part ça, comme vous le dites, il y a des paires de langues pour lesquelles nous n’avons pas de corpus, et nous avons dû les développer nous-mêmes : nous avons payé des traducteurs pour traduire certaines phrases pour certaines langues.

P. D’où ont-ils extrait le corpus linguistique ? Ont-ils eu recours uniquement à des sources ouvertes ?

R. L’une des choses que j’aime chez FAIR, c’est que nos recherches sont ouvertes et que vous pouvez voir nos sources. C’est précisé dans l’article et dans notre référentiel : Parlement européen, ONU… Ce sont des sources disponibles que la communauté des traducteurs utilise depuis longtemps. Wikipédia contient des textes parallèles, mais nous utilisons des phrases parallèles. Dans l’ensemble, nous en avons retiré beaucoup de choses.

P. Quelle est la prochaine étape ?

R. Maintenant, ce que nous voulons, c’est franchir le pas et traduire du texte en texte. Nous travaillons également déjà sur des traducteurs voix-parole, que nous avons introduits l’année dernière. Non seulement ils traduisent, mais ils maintiennent également votre ton de voix et votre expressivité. Il couvre actuellement 100 langues d’entrée et une trentaine de langues de sortie.

P. Jusqu’où peuvent-ils aller ? Les barrières linguistiques finiront-elles un jour ?

R. Ces systèmes sont très utiles dans de nombreuses situations, par exemple si vous êtes perdu en Chine et que personne ne parle anglais. Mais nous proposons une traduction, pas une interprétation. La magie des interprètes est qu’ils prennent votre message, le résument et le traduisent dans une autre langue en toute maîtrise. Nous sommes encore loin de l’interprétation. Le langage comporte de nombreuses subtilités et émotions que nous ne pouvons pas aborder pour le moment.

P. Ces derniers mois, des outils d’IA générative multimodaux ont été présentés, capables de reconnaître des objets dans leur environnement grâce à la vision par ordinateur. Quelles perspectives cela ouvre-t-il pour la traduction automatique ?

R. Oui, nous y allons, vers des systèmes totalement multimodaux [que procesan, texto, imagen, vídeo y audio]. Nous avons ça avec Llama 3 [el último modelo de IA generativa de Meta]. Connaissance du monde, des cultures, du vocabulaire spécifique, du contexte… les interprètes l’ont, mais pas les machines. Nos traductions se limitent au texte ou à la voix que nous insérons.

P. Est-il prévu d’ajouter d’autres langues ?

R. Nous avons publié des guides pour insérer de nouvelles langues dans le modèle, qui est ouvert. Nous ne sommes pas nécessairement obligés de le faire, la communauté scientifique peut le faire. Nous veillons à ce que quiconque le souhaite puisse le faire.

Vous pouvez suivre Technologie EL PAÍS dans Facebook et X ou inscrivez-vous ici pour recevoir notre newsletter semestrielle.