L’IA révolutionne les jeux vidéo et les artistes en difficulté veulent leur dû

Les mouvements de parkour et de rupture de Jasiri Booker sont utilisés pour animer le personnage principal dans Marvel Spider-Man : Miles Morales jeu vidéo.

« Je me colle aux murs. Je frappe les gens. Je me fais tabasser constamment, je suis électrocuté et je deviens invisible », explique le jeune homme de 26 ans.

Lui et d’autres artistes jouent des séquences d’action qui donnent vie aux jeux vidéo.

Mais plus tôt ce mois-ci, Booker a organisé un piquet de grève devant les studios Warner Bros. à Burbank, en Californie, avec des centaines d’autres artistes du jeu vidéo et des membres du syndicat SAG-AFTRA. Ils prévoient d’organiser à nouveau un piquet de grève devant Disney Character Voices à Burbank jeudi.

Après 18 mois de négociations contractuelles, ils ont commencé leur arrêt de travail fin juillet contre des sociétés de jeux vidéo telles que Disney, WB Games, Activision de Microsoft et Electronic Arts. Les membres du syndicat ont suspendu leurs activités de doublage, de cascades et d’autres travaux qu’ils effectuent pour les jeux vidéo.

Les négociations ont été bloquées sur la question des protections contre l’utilisation de l’intelligence artificielle dans la production de jeux vidéo. Booker dit qu’il n’est pas complètement contre l’utilisation de l’IA, mais « nous disons au moins, s’il vous plaît, informez-nous et permettez-nous de consentir aux performances que vous générez avec nos doublures IA ». Lui et d’autres membres de SAG-AFTRA sont contrariés par l’idée que les sociétés de jeux vidéo pourraient éventuellement le remplacer et pourraient désormais considérer ses cascades très humaines comme de simples points de référence numériques pour l’animation.

Dans un communiqué, Audrey Cooling, porte-parole des deux entreprises, a écrit : « Selon notre proposition d’IA, si nous voulons utiliser une réplique numérique d’un acteur pour générer une nouvelle performance de celui-ci dans un jeu, nous devons obtenir son consentement et le rémunérer équitablement pour son utilisation. Il s’agit de protections solides, qui sont entièrement cohérentes avec les autres accords de l’industrie du divertissement signés par le syndicat, voire supérieures à ceux-ci. »

Mais les doublures de jeux vidéo affirment que ces protections ne s’étendent pas à tous – et c’est en partie pourquoi ils sont en grève.

Andi Norris, un artiste membre de l’équipe de négociation du syndicat, affirme que selon la proposition des sociétés de jeux vidéo, les artistes dont les mouvements corporels sont capturés pour les jeux vidéo ne bénéficieraient pas des mêmes protections d’IA que ceux dont les visages et les voix sont capturés pour les jeux.

Norris affirme que les entreprises tentent de contourner le principe de payer les artistes qui font des mouvements corporels au même tarif que les autres, « parce qu’à ce stade, elles nous considèrent simplement comme des données ». Elle ajoute : « Je peux ramper partout sur le sol et les murs en incarnant telle ou telle créature, et ils diront que ce n’est pas une performance et que cela n’est donc pas soumis à leurs protections en matière d’IA. »

Il s’agit d’une distinction nuancée : les entreprises ont inclus la « capture de performance » dans leur proposition, y compris les enregistrements de voix et de visages d’interprètes, mais pas le travail de « capture de mouvement » en coulisses des doublures corporelles et d’autres interprètes de mouvement qui sont utilisés pour restituer le mouvement.

Mais Norris et d’autres comme elle se considèrent comme des « artistes de capture de performance » – « parce que si tout ce que vous capturez est du mouvement, alors pourquoi engagez-vous un artiste ? »

Comment fonctionne la capture de mouvement

Seth Allyn Austin, un autre sosie de Spider-Man, explique que les artistes de jeux vidéo travaillent dans des studios appelés « volumes », entourés de caméras numériques. Ils portent des combinaisons intégrales – un peu comme des combinaisons de plongée – parsemées de capteurs réfléchissants capturés par des caméras, « ainsi l’ordinateur peut avoir notre squelette et nous mettre ce qu’il veut sur nous. »

Ces squelettes en mouvement numérisés sont introduits dans un logiciel vidéo puis transformés en personnages de jeux vidéo animés, explique l’ingénieur en mécanique Alberto Menache, cofondateur de NPCx, qui développe des outils d’IA pour capturer les données de mouvement humain pour les jeux vidéo et les films. « La capture de mouvement », dit-il, « ils l’appellent mocap pour faire court. »

Menache est un pionnier dans le domaine et a consulté ou supervisé les effets visuels de films tels que Le Pôle Express, Spider-Man, le retour de Supermanet Avatar : La Voie de l’EauIl a également travaillé chez PDI (qui est devenu DreamWorks Animation avant de fermer), Sony Pictures, Microsoft, Lucasfilm et Electronic Arts. (Electronic Arts et Activision, propriété de Microsoft, sont tous deux impliqués dans des négociations avec SAG-AFTRA et sont actuellement impliqués dans l’arrêt de travail.)

Il faut toute une équipe d’artistes numériques pour animer les mouvements créés par les acteurs humains, explique-t-il. « Il faut un modeleur pour construire le personnage, puis une personne pour faire le mappage de textures, comme on dit, c’est-à-dire peindre le corps ou le costume de Spider-Man », explique-t-il. « Il faut ensuite un rigger, c’est-à-dire la personne qui dessine le squelette, puis un animateur pour déplacer le squelette. Et enfin, il faut quelqu’un pour éclairer le personnage. »

De l’animation dessinée à la main à la capture de mouvement

Il y a plus d’un siècle, à l’époque du cinéma muet, les animateurs ont commencé à utiliser des séquences d’action réelles d’humains. Ils créaient des séquences en traçant sur des images projetées, image par image – un processus chronophage qui est devenu connu sous le nom de « rotoscopie ». Le cinéaste Max Fleischer a breveté le premier rotoscope en 1915, créant des courts métrages en dessinant à la main sur des images projetées à la main de son frère dans le rôle du clown Koko. Selon Fleischer Studios, une minute de film nécessitait initialement près de 2 500 dessins individuels. Fleischer a ensuite animé Popeye le marin et Betty Boop de cette manière, ainsi que des personnages de Les voyages de Gulliver, Mr Bug va en ville, Superman et sa version de Blanc comme neige.

Plus tard, Walt Les animateurs de Disney ont utilisé des techniques de rotoscopie, à partir du film de 1937 Blanche Neige et les Sept Nains.

Dans les années 1980, les techniques d’animation ont progressé grâce aux images générées par ordinateur. Pendant le Super Bowl de 1985, les téléspectateurs ont regardé une publicité innovante de 30 secondes Réalisé par le pionnier des effets visuels Robert Abel et son équipe. Pour créer la publicité pour le Canned Food Information Council, ils ont peint des points sur une vraie interprète féminine comme base pour un personnage de robot « sexy » qui a ensuite été rendu sur un ordinateur.

Menache explique qu’une technologie similaire a été utilisée par l’armée pour suivre les avions et dans le domaine médical pour diagnostiquer des maladies telles que la paralysie cérébrale. Au début des années 1990, il a innové en développant un logiciel d’animation pour un jeu vidéo d’arcade appelé Soul Edge.

« C’était un jeu de combat de ninja japonais. Et ils ont fait venir un ninja du Japon », dit-il. «Nous avons placé des marqueurs sur le ninja et nous n’avions qu’une zone de deux mètres sur deux où il pouvait agir car nous n’avions que quatre caméras. Le ninja a donc passé environ deux semaines à faire des mouvements dans ce petit carré. C’était incroyable à voir. Et puis il nous a fallu environ un mois pour traiter toutes ces données.

Les artistes humains seront-ils nécessaires à l’avenir ?

Outre Spider-Man, Seth Allyn Austin a incarné des héros, des méchants et des créatures dans des jeux tels que Le dernier d’entre nous, et Star Wars Jedi : L’Ordre déchu. Il affirme que la technologie a évolué depuis ses débuts il y a dix ans. Il se souvient d’avoir porté une combinaison avec des lumières LED alimentées par une batterie. « À chaque fois que je faisais un salto, la batterie s’envolait », se souvient-il. « J’ai eu des ingénieurs qui ont dû essayer de ressouder les fils pendant que je portais la combinaison pour gagner du temps. Heureusement, nous avons abandonné cette technologie. »“

De nos jours, dit-il, certaines nouvelles technologies permettent aux artistes de se voir jouer à l’écran en tant que personnages entièrement animés en 3D, réagissant à des décors animés et à d’autres personnages.

« Nous pouvons ajuster nos performances en temps réel pour les rendre encore plus effrayantes, cool, réalistes ou héroïques », explique-t-il. « C’est le truc avec l’IA, c’est un outil plutôt cool. Il peut nous aider beaucoup. Mais si l’outil est utilisé pour nous remplacer, ce n’est pas l’outil qui compte, mais celui qui l’utilise. »

Selon Menache, il est peu probable que les acteurs humains soient remplacés dans les jeux vidéo ou les films dans un avenir proche.

« Si vous voulez que cela paraisse réel, vous ne pouvez pas l’animer », dit-il. « Il y a beaucoup de très bons animateurs, mais leur expertise se limite surtout aux mouvements stylisés. Mais le mouvement humain réel : certaines personnes s’en approchent, mais plus vous vous en approchez, plus cela semble étrange. Votre cerveau le sait. »

Il compare cela au phénomène de la vallée de l’étrange : comme il le décrit, « ce 1 pour cent manquant indique à votre cerveau que quelque chose ne va pas », dit-il.

Comment l’IA change le développement des jeux vidéo

Menache développe actuellement une technologie d’intelligence artificielle qui ne nécessite pas que les gens portent des capteurs ou des marqueurs. « Pour entraîner l’IA, il faut des données provenant des gens », explique-t-il. « Nous ne nous contentons pas de saisir les mouvements des gens, nous obtenons leur permission. »

Par exemple, il dit qu’il pourrait embaucher et filmer des joueurs de l’équipe du LA Galaxy, comme il l’a fait dans les années 1990. Leurs mouvements pourraient être enregistrés pour entraîner le modèle d’IA à développer de nouveaux jeux vidéo de football. « Avec notre nouveau système, dit-il, ils n’auront même pas besoin d’aller en studio… Il suffit d’avoir des images. Et plus il y a d’angles, mieux c’est. »

Menache a également développé une technologie permettant de suivre le visage des acteurs et de les « rajeunir », ainsi que de créer des « deep fakes » qui permettent de scanner et de modifier le visage des acteurs. Tout cela, dit-il, nécessite toujours le consentement des acteurs humains.

Même l’IA a encore besoin des humains pour former les modèles, explique Menache. «« J’ai construit un système de suivi des visages et je l’ai entraîné avec environ 2 000 heures de séquences de différents visages. Et maintenant, il n’a plus besoin d’être entraîné. Mais un visage est beaucoup moins complexe qu’un corps entier », dit-il, ajoutant qu’il faudrait pour cela des séquences de « milliers et de milliers d’heures de personnes de différentes proportions ».

« Peut-être que nous n’avons plus besoin de gens pour faire ça », dit-il, « mais les gens qui ont été habitués à l’entraîner devraient avoir leur part de tout ce qui est utile. C’est le but de la grève. Et je suis d’accord avec ça. Nous n’utilisons aucune donnée qui n’est pas autorisée par les artistes. »

Note de l’éditeur : de nombreux employés de NPR sont membres du SAG-AFTRA, mais sont soumis à un contrat différent et ne sont pas en grève.