Vous pourrez leur parler

Nvidia a dévoilé sa nouvelle plateforme pour les développeurs de jeux : “Avatar Cloud Engine”.

Cela peut être incroyablement bon

L’entreprise prend son envol sur le marché grâce à des investissements précoces dans le matériel d’IA. Maintenant que l’IA trouve sa place dans un nombre toujours croissant de produits et services de consommation, il est clair qu’ils se portent bien. Mais qu’en est-il des jeux ? Il a été question de Microsoft 365 et de Windows et de trucs de bureau ennuyeux, de recherche et de manipulation d’images. Eh bien, maintenant, la société est prête à montrer une technologie où les joueurs peuvent parler aux PNJ et obtenir des réponses qui ne sont pas préprogrammées.

Tout est sous l’égide de Nvidia Omniverse et combine les technologies suivantes :

• NVIDIA NeMo – pour créer, personnaliser et déployer des modèles de langage à l’aide de données propriétaires. Les grands modèles de langage peuvent être personnalisés avec des histoires et des arrière-plans de personnages, et protégés des conversations contre-productives ou dangereuses via NeMo Guardrails.
• NVIDIA Riva – pour la reconnaissance vocale automatique et la synthèse vocale pour permettre une conversation vocale directe.
• NVIDIA Omniverse Audio2Face – pour créer instantanément une animation faciale expressive avec un personnage de jeu correspondant aux pistes vocales. Audio2Face dispose de connecteurs Omniverse pour Unreal Engine 5, permettant aux développeurs d’ajouter une animation faciale directement aux personnages MetaHuman.

Le cadre en place

La démo ci-dessous s’appelle “Kairos” où le joueur rencontre un PNJ appelé Jin dans un restaurant de rue ramen situé, bien sûr, dans un futur dystopique. La démo n’est pas parfaite, mais il est facile d’imaginer que le « NeMo » de Nvidia sera aussi bon que ChatGPT, et que de cette façon, vous n’avez besoin que d’un microphone pour effectuer des tâches, ou simplement pour parler aux « personnes » dans les jeux. Les visages réagissent aussi comme ça env. correct par rapport à ce qui est dit.

Au-delà de cela, la démo exécute Unreal Engine 5 avec lancer de rayons et DLSS. On ne sait pas quels jeux obtiendront la technologie en premier, mais Stalker 2 et Fort Solis utiliseront “Omniverse Audio2Face” pour plus de réalisme dans les expressions faciales lorsque les PNJ parlent.

Charisma.ai, une entreprise qui active les personnages virtuels via l’IA, s’appuie sur Audio2Face pour alimenter l’animation dans le moteur de conversation.

Nvidia