Alibaba lance un modèle d’IA « en forme de clip » capable de faire correspondre des portraits humains avec des voix pour générer des animations parlantes – unwire.hk Hong Kong

La technologie de génération d’IA a continué de s’améliorer récemment. Alibaba a récemment publié un nouveau modèle de génération d’animation de portrait, EMO. Après avoir saisi des photos de portrait et des voix, des vidéos vives peuvent être automatiquement générées, et les formes de bouche et même les expressions s’ajusteront naturellement avec les voix.

L'”Intelligent Computing Research Institute” d’Alibaba a récemment publié un article présentant son modèle EMO (Emote Portrait Alive). Ce modèle peut analyser des photos et des sons pour transformer des portraits statiques en vidéos parlant ou chantant qui correspondent à la voix. Des mouvements de bouche aux expressions et clignements des yeux, tout peut être ajusté pour correspondre au contenu afin de montrer certaines expressions émotionnelles et de les rendre plus naturelles.

Selon le journal, le développement d’EMO a utilisé cette fois le modèle de diffusion Audio2Video avec plus de 250 heures de vidéos de conversation pour la formation. En plus du mandarin, il prend également en charge d’autres langues et traite les changements de voix après extraction des traits du visage. Nvidia dispose actuellement d’un outil similaire appelé Audio2Face, mais cette fois la vidéo de démonstration d’EMO est plus naturelle, notamment l’application du style d’animation japonais, qui est vraiment efficace. Avec les développements futurs, des outils plus puissants pourraient bientôt être disponibles. Cependant, il n’y a pas d’essai public de l’EMO, donc on ne sait toujours pas si elle est réellement générée directement ou si elle doit être ajustée pour obtenir un tel effet.

source:Alibaba

Articles Liés:

Allouer de l’argent aux Chinois pour qu’ils apprennent l’IA. Les députés singapouriens proposent : chaque personne de plus de 40 ans recevra 23 000 $ pour postuler à un diplôme en IA.

Le programme Microsoft Photos ajoute une IA générative pour supprimer facilement des personnes des photos

La technologie 5G combine l’intelligence artificielle pour aider l’agriculture dans les terres agricoles rurales de Chine

Recevoir les dernières actualitésSe désabonner des mises à jour
2024-03-02 17:30:58
1709460654


#Alibaba #lance #modèle #dIA #forme #clip #capable #faire #correspondre #des #portraits #humains #avec #des #voix #pour #générer #des #animations #parlantes #unwire.hk #Hong #Kong