Disney étudie depuis un certain temps les possibilités d’utiliser les IA sous forme de réseaux de neurones afin d’accélérer les processus laborieux et chronophages de la (post)production cinématographique. Maintenant, une équipe de chercheurs de Disneys et de l’ETH Zurich a présenté un algorithme qui permet aux acteurs d’apparaître plus âgés ou plus jeunes dans les enregistrements, une tâche souvent requise dans les films – l’exemple le plus connu ici est probablement Martin Scorsese The Irishman (2019), dans lequel Robert De Niro et Al Pacino ont été rajeunis numériquement. La vidéo suivante explique bien la nouvelle méthode et démontre sa qualité :
 |
L’algorithme connu sous le nom de FRAN (Face Re-Aging Network) peut à la fois vieillir (vieillir) artificiellement et rajeunir (de-aging) les visages. Il offre une alternative au processus autrement très laborieux de changement manuel des images d’un visage et le fait à une vitesse de seulement 5 secondes par image. FRAN permet également un contrôle artistique étendu sur le résultat grâce à des mécanismes simples et intuitifs qui permettent d’affiner l’effet de vieillissement, car il peut être inclus en tant que nœud avec différents paramètres dans le programme de composition Nuke – une fonctionnalité utilisée dans la production de films réels pipelines est d’une grande importance.
L’exemple ci-dessous montre plusieurs images vidéo d’une personne (35 ans) âgée et rajeunie à 65 ans (rangée du haut) et 18 ans (rangée du bas).
Dé-vieillissement prêt pour la production cinématographique
Selon Disney, FRAN est le premier algorithme de vieillissement entièrement automatisé et prêt pour la production – les algorithmes précédents avaient des problèmes pour préserver l’identité des visages dans le vieillissement artificiel, la cohérence des changements dans les séquences d’images ou simplement générer des images avec un niveau suffisamment élevé résolution pour les films. FRAN, d’autre part, fournit des résultats cohérents dans le temps pour les vidéos qui montrent des visages sous n’importe quel angle, sous une grande variété de conditions d’éclairage et en mouvement, selon Disney. 
FRAN dans Nuke
Cela a été rendu possible par une nouvelle approche de la formation. Ainsi, le réseau neuronal de FRAN a été formé sur un grand ensemble de données de paires de visages synthétiques générés aléatoirement d’âges différents. Cela a évité d’avoir à trouver des milliers d’images de personnes réelles d’âges différents avec la même expression faciale, la même pose, l’éclairage et le même arrière-plan. Cela a permis une meilleure qualité des résultats qu’auparavant. Ici l’étude 
Échange de visage neuronal haute résolution pour des effets visuels.
De-Aging selon FRAN et Maske
limites
Mais le nouvel algorithme de vieillissement n’est pas parfait non plus : FRAN a du mal à apporter de très grands changements à l’âge, par exemple transformer le visage d’un adulte en celui d’un enfant – il ne peut pas non plus simuler les cheveux grisonnants. Étant donné que le travail manuel des effets visuels et même l’application pratique du maquillage prothétique ne sont pas soumis à ces limitations, FRAN ne remplacera probablement pas de nombreux emplois de l’industrie de si tôt. Cependant, comme on peut le voir dans le deuxième exemple, FRAN peut être utilisé pour compléter les changements d’âge dans le masque.
Mais comme toujours avec les travaux de recherche sur l’IA et les algorithmes, les résultats verront très probablement une amélioration significative dans les une ou deux prochaines études.
Disney fait depuis longtemps des recherches sur les IA VFX
Disney Research travaille depuis un certain temps sur des algorithmes d’IA capables de prendre en charge les tâches de post-production de films. En juillet 2020, par exemple, Disney a présenté un projet de recherche en collaboration avec l’ETH Zurich, dans lequel un La méthode DeepFake haute résolution a été présentée pour échanger des visages dans des vidéos et des images de manière entièrement automatique via un réseau de neurones. Avec leur aide, le visage d’un acteur pouvait être remplacé par celui de n’importe quelle autre personne, mais continuait à être animé par cette personne d’une manière faussement réelle. 
Disney Deep Fake
Un autre algorithme de Disney, présenté en décembre 2021, a permis un changement réaliste de l’éclairage des visages générés, y compris les yeux, les cheveux et la bouche avec une projection d’ombre correcte – ainsi que des changements plus complexes de l’éclairage ambiant en termes de direction et de couleur. Et, très important pour le domaine d’activité visé par Disney dans le film : les résultats animés semblent également réalistes – par exemple lors du passage d’une expression faciale à une autre ou lors de la parole.
