Des visages aux voix, les IA conquièrent le cinéma

Dans la saison 4 de Choses étrangesdans le premier de Mercredidans Veilleurs e Académie des parapluies et aussi dans le film venir Spiderman : Pas de retour à la maison e Mme Marvel. Outre des dizaines de productions par plus ou moins tous les studios, donne Disney à Warner Brosen passant par Amazon, Apple, HBO, Marvel, Netflix et Paramount.

L’utilisation de l’intelligence artificielle à Hollywood ce n’est pas l’avenir: c’est la réalité, ça dure depuis un certain temps et surtout ça continue sans que les spectateurs s’en aperçoivent pratiquement. C’est ce qui devrait arriver avec de bons effets spéciaux. Cela dure depuis un certain temps et se décline selon deux axes principaux : les images et la voix, comme ils nous l’ont expliqué Matt Panousisdirecteur général de Marz, e Scott Mannco-fondateur et actuel PDG de Flawless.

Vieillir (et rajeunir) en quelques clics

Née en 2018, Marz traite du dévieillissement/vieillissement des acteurs, c’est-à-dire du rajeunissement ou du vieillissement de leur visage, à travers ses Vanité IA: “Nous utilisons une base de données générale de visages, affinée pour des besoins spécifiques, c’est-à-dire avec les données de l’acteur ou de l’actrice sur laquelle nous devons travailler”, nous explique Panousis.

Marz, qui a 270 employés dans 26 paysa investi des millions de dollars pour se lancer, surtout pour acheter des ordinateurs et des cartes graphiques, et fait tout en toute autonomie : “Vous choisissez la personne sur qui intervenir, sélectionnez la partie du visage qui vous intéresse et fixez les paramètres pour décider de la l’étendue de la modification, qui peut être appliqué dans chaque scène dans laquelle cette partie spécifique du visage apparaît”.

Ce qu’il faut comprendre, c’est que non seulement L’IA parvient à rajeunir ou vieillir un visagemais qui parvient à le faire à une vitesse impensable : “Avec les méthodes traditionnelles, intervenir sur 5 secondes de métrage nécessitait 2 jours de travail, car les points du visage doivent être cartographiés, il faut tenir compte du fait qu’ils bougent si l’acteur rit, pleure ou change d’expression, alors tout doit s’harmoniser – nous rappelait Panousis – Avec notre instrument, vous pouvez tout faire en quelques minutes”. Et avec beaucoup moins d’argent.

Le prochain niveau de doublage

Rapidité et commodité économique sont les deux avantages que possède également Flawless : fondée en 2018, elle compte 50 employés et sa propre IA, appelée TrueSyncqui est utilisé pour les voix off et la synchronisation labiale.

Pour comprendre ce dont il est capable, Mann nous a donné l’exemple de Automneun de ses films de 2022: « Il y avait trop de gros mots, et aux États-Unis, cela aurait été interdit aux moins de 17 ans. Pour arriver au PG13, il aurait fallu refaire 35 scènes, ce qui coûte cher et ne peut pas toujours se faire, car peut-être que les acteurs sont occupés ailleurs”. Et donc « nous avons utilisé TrueSync pour corriger 35 mots et resynchroniser le mouvement des lèvres des actrices comme elles les prononcent ». Combien de temps at-il fallu? “Un jour pour comprendre tous les mots et un autre pour former l’IA, qui s’est ensuite mise au travail et a tout terminé en deux semaines.” Objectif atteint et “au dixième du coût”.

Comme Visual AI, TrueSync démarre également à partir d’un base de données initiale adaptée en fonction des besoins: “Le mouvement des lèvres affecte d’autres parties du visage, car lorsque vous parlez, même les sourcils peuvent bouger – nous a rappelé Mann – Seule une IA peut prendre tout cela en compte et le faire bien et rapidement”. Ce n’est pas tout : « Notre IA peut aussi traduire le discours d’un acteur dans une autre langue et synchroniser le mouvement des lèvres en fonction des nouveaux mots ». L’acteur joue dans sa propre langue et TrueSync adapte les expressions faciales à ceux qui sont nécessaires dans les différents pays, de sorte que le film semble avoir été tourné (par exemple) en italien, espagnol, japonais, etc.

Pourquoi Hollywood a besoin de l’IA

Le but de tout est de donner au spectateur un produit réaliste et crédible, et nous sommes en effet nous, spectateurs, sommes les principaux coupables de cette révolution: “Les gens demandent de la qualité et ils la demandent partout, même à la télé – nous l’a rappelé Panousis – Seulement cette qualité coûte de l’argent”. Combien ça coûte? “Vous pouvez également dépenser 5 à 10 000 dollars pour chaque scène avec des effets spéciaux, ce qui peut également couvrir 20 à 30% du budget total d’un film – nous a encore dit Marz – Avec nous ça coûte environ 50% moins cher et vous savez immédiatement combien vous dépensez, car nous avons une liste de prix qui s’applique à tout le monde et rend ce marché plus accessible ».

Les deux entreprises sont conscientes des risques qui existent pour l’emploi, et toutes deux travaillent avec les syndicats pour les réduire : « La professionnalisme humain restent inégalés et sont fondamentaux, mais nous devons protéger les droits des personnes et protéger cet art – Mann nous a dit – Nous voulons que ceux qui sont impliqués dans le changement le fassent volontairement et soient payés”. Selon Panousis, cependant, « il y aura de nombreux cinéastes indépendants que grâce à ces outils ils deviendront capables de faire des choses incroyables : nous démocratisons la créativité ».

@capoema