Meta met à jour son projet Ego-Exo pour faire progresser la recherche sur l’IA et améliorer la perspective à la première personne

MADRID, 1 déc. (Portail/EP) –

Méta a annoncé de nouveaux projets dans le domaine de l’intelligence artificielle (IA) et la mise à jour de son initiative Ego-Exo, visant à résoudre les défis présentés par une technologie axée sur l’offre d’une perspective à la première personne.

Aujourd’hui, l’entreprise célèbre le dixième anniversaire de l’équipe de Recherche fondamentale en IA (FAIR, pour son acronyme en anglais), qui « a été à l’avant-garde de nombreuses avancées scientifiques », comme l’explique un communiqué.

Il a également souligné que ce groupe d’experts constitue « un élément fondamental pour la réussite des objectifs” et que grâce à son travail, il a pu contribuer ” à construire l’avenir du lien social “.

L’une de ses dernières avancées dans ce domaine est Voicebox, un modèle d’IA qu’elle a présenté en juin de cette année et qui a la capacité d’effectuer des tâches de génération de voix ainsi que des clips audio de haute qualité.

Maintenant la signature a présenté à son successeur, Boîte audio, qui enregistre des invites vocales ou des entrées de texte décrivant les sons ou les types de discours que vous souhaitez générer de manière personnalisée.

Une autre nouveauté qui accompagne le dixième anniversaire de FAIR est Seamless Communication, que Meta a développée sur la base de SeamlessM4T pour créer un ensemble de modèles de traduction d’IA adaptés à différentes langues.

Plus précisément, cet outil prend en charge l’anglais, l’espagnol, l’allemand, le français, l’italien et le chinois et « préserve l’émotion et le style de l’orateur », en plus d’aborder la vitesse et le rythme de la parole.

SeamlessStreaming, quant à lui, débloque des conversations en temps réel avec d’autres personnes parlant des langues différentes. Contrairement aux systèmes classiques, qui traduisent une fois que l’orateur a fini de parler, celui-ci le fait pendant son discours pour permettre à l’auditeur d’accéder instantanément à la traduction.

Enfin, Meta a expliqué comment il fait progresser la recherche sur la perspective dite à la première personne, également connue sous le nom de perception égocentrique, qui tente d’apprendre à l’IA à interagir de manière réaliste avec le monde, tout comme le font les humains.

Ce projet, baptisé Ego-Exo et dans lequel il travaille à partir de 2021a été mis à niveau vers Ego-Exo4D pour capturer simultanément des vues à la première personne à partir d’une caméra portable ainsi que des vues externes ou exocentriques à partir de caméras entourant l’utilisateur.

Cette combinaison donne aux modèles d’IA « une fenêtre sur ce que les gens voient et entendent », combiné avec plus de contexte sur l’environnement”, comme Meta l’a expliqué dans cet écrit, qui illustre comment il espère concrétiser ces avancées.

Grâce à cela, une personne qui utilise des casques intelligents pourra acquérir de nouvelles compétences avec un entraîneur virtuel en IA, qui la guidera à travers une vidéo pédagogique pour, par exemple, réparer un pneu de vélo ou jongler avec un ballon de football.