Écouter cet article
NVIDIA Research a annoncé aujourd’hui qu’elle apporterait une série d’avancées en matière de rendu, de simulation et d’IA générative au SIGGRAPH 2024. La conférence sur l’infographie se déroulera du 28 juillet au 1er août à Denver.
À SIGGRAPHNVIDIA Corp. prévoit de présenter plus de 20 articles présentant des innovations faisant progresser les générateurs de données synthétiques et les outils de rendu inverse qui peuvent aider à former des modèles de nouvelle génération. La société a déclaré que ses recherches en IA améliorent la simulation en améliorant la qualité de l’image et en ouvrant de nouvelles façons de créer des représentations 3D de mondes réels ou imaginaires.
Les articles portent sur les modèles de diffusion pour l’IA générative visuelle, la simulation basée sur la physique et le rendu de plus en plus réaliste basé sur l’IA. Ils comprennent deux aspects techniques Lauréats du prix du meilleur article et des collaborations avec des universités aux États-Unis, au Canada, en Chine, en Israël et au Japon, ainsi qu’avec des chercheurs d’entreprises telles qu’Adobe et Roblox.
Ces initiatives aideront à créer des outils que les développeurs et les entreprises pourront utiliser pour générer des objets, des personnages et des environnements virtuels complexes, a déclaré la société. Génération de données synthétiques peut ensuite être exploité pour raconter des histoires visuelles puissantes, aider les scientifiques à comprendre les phénomènes naturels ou aider à la formation basée sur la simulation de robots et de véhicules autonomes.
Les modèles de diffusion améliorent la peinture de texture et la génération de texte en image
Les modèles de diffusion, un outil populaire pour transformer des invites de texte en images, peuvent aider les artistes, les concepteurs et d’autres créateurs à générer rapidement des visuels pour les storyboards ou la production, réduisant ainsi le temps nécessaire pour donner vie aux idées.
Deux articles rédigés par NVIDIA font progresser les capacités de ces modèles d’IA génératifs.
Consistoirefruit d’une collaboration entre des chercheurs de NVIDIA et de l’université de Tel Aviv, permet de générer plus facilement plusieurs images avec un personnage principal cohérent. Selon l’entreprise, il s’agit d’une capacité essentielle pour les cas d’utilisation narratifs tels que l’illustration d’une bande dessinée ou le développement d’un storyboard. L’approche des chercheurs introduit une technique appelée attention partagée axée sur le sujet, qui réduit le temps nécessaire pour générer des images cohérentes de 13 minutes à environ 30 secondes.
Les chercheurs de NVIDIA ont remporté l’année dernière le Prix Best in Show au Real-Time Live de SIGGRAPH événement pour les modèles d’IA qui transforment des messages texte ou image en matériaux texturés personnalisés. Cette année, ils présentent un article qui applique des modèles de diffusion générative 2D à la peinture de texture interactive sur des maillages 3D, permettant aux artistes de peindre en temps réel avec des textures complexes basées sur n’importe quelle image de référence.
ConsiStory facilite la génération de plusieurs images avec le même personnage. Source : NVIDIA Research
NVIDIA Research donne le coup d’envoi des développements dans le domaine de la simulation basée sur la physique
Les chercheurs en graphisme réduisent l’écart entre les objets physiques et leurs représentations virtuelles grâce à la simulation basée sur la physique, une gamme de techniques permettant de faire bouger les objets et les personnages numériques de la même manière qu’ils le feraient dans le monde réel. Plusieurs articles de NVIDIA Research présentent des avancées dans le domaine, notamment SuperPADL, un projet qui s’attaque au défi de simulation de mouvements humains complexes à partir de texte
instructions.
En utilisant une combinaison d’apprentissage par renforcement et d’apprentissage supervisé, les chercheurs ont démontré comment le framework SuperPADL peut être formé pour reproduire le mouvement de plus de 5 000 compétences – et peut s’exécuter en temps réel sur un GPU NVIDIA grand public.
Un autre article de NVIDIA présente une méthode de physique neuronale qui utilise l’IA pour apprendre comment les objets, qu’ils soient représentés par un maillage 3D, un NeRF ou un objet solide généré par un modèle texte-3D, se comportent lorsqu’ils sont déplacés dans un environnement. Un NeRF, ou champ de rayonnement neuronal, est un modèle d’IA qui prend des images 2D représentant une scène en entrée et interpole entre elles pour restituer une scène 3D complète.
Un article rédigé en collaboration avec l’Université Carnegie Mellon traite du développement d’un nouveau type de moteur de rendu. Au lieu de modéliser la lumière physique, le moteur de rendu peut effectuer des analyses thermiques, électrostatiques et mécaniques des fluides (voir la vidéo ci-dessous). Nommée l’un des cinq meilleurs articles du SIGGRAPH, la méthode est facile à paralléliser et ne nécessite pas de nettoyage fastidieux du modèle, offrant de nouvelles opportunités pour accélérer les cycles de conception technique.
Des documents de simulation supplémentaires introduisent une technique plus efficace pour modelage des mèches de cheveux et un pipeline qui accélère la simulation des fluides par 10x.
Les articles placent la barre plus haut en matière de rendu réaliste et de simulation de diffraction
Une autre série d’articles rédigés par NVIDIA présentera de nouvelles techniques permettant de modéliser la lumière visible jusqu’à 25 fois plus rapidement et de simuler les effets de diffraction – tels que ceux utilisés dans la simulation radar pour la formation des voitures autonomes – jusqu’à 1 000 fois plus rapidement.
Un article rédigé par des chercheurs de NVIDIA et de l’Université de Waterloo aborde Diffraction en espace libreun phénomène optique où la lumière se propage ou se courbe autour des bords des objets. La méthode de l’équipe peut s’intégrer aux flux de travail de traçage de trajectoire pour augmenter l’efficacité de la simulation de diffraction dans des scènes complexes, offrant une accélération jusqu’à 1 000 fois supérieure. Au-delà du rendu de la lumière visible, le modèle pourrait également être utilisé pour simuler les longueurs d’onde plus longues des ondes radar, sonores ou radio.
Traçage de chemin échantillonne de nombreux chemins (rayons lumineux à rebonds multiples traversant une scène) pour créer une image photoréaliste. Deux articles SIGGRAPH améliorent la qualité d’échantillonnage pour ReSTIR, un algorithme de traçage de chemin introduit pour la première fois par NVIDIA et les chercheurs du Dartmouth College lors du SIGGRAPH 2020, qui a été essentiel pour intégrer le traçage de chemin aux jeux et autres produits de rendu en temps réel.
L’un de ces articles, une collaboration avec l’Université de l’Utah, partage une nouvelle façon de réutiliser les chemins calculés augmente le nombre d’échantillons effectifs jusqu’à 25 foisaméliorant considérablement la qualité de l’image. L’autre améliore la qualité de l’échantillon en modifiant de manière aléatoire un sous-ensemble du trajet de la lumière. Cela permet aux algorithmes de débruitage d’être plus performants, produisant moins d’artefacts visuels dans le rendu final.
Des chercheurs de NVIDIA et de l’Université de Waterloo ont développé des techniques pour atténuer la diffraction en espace libre dans des scènes complexes. Source : NVIDIA Research
Apprendre à l’IA à penser en 3D
Les chercheurs de NVIDIA présentent également des outils d’IA polyvalents pour les représentations et la conception 3D au SIGGRAPH.
Un article présente fVDBun cadre optimisé par GPU pour l’apprentissage profond 3D qui correspond à l’échelle du monde réel. Le cadre fVDB fournit une infrastructure d’IA pour la grande échelle spatiale et la haute résolution des modèles 3D à l’échelle de la ville et NeRFset la segmentation et la reconstruction de nuages de points à grande échelle.
Un article technique, lauréat du prix du meilleur article technique, rédigé en collaboration avec des chercheurs du Dartmouth College, présente une théorie permettant de représenter la manière dont les objets 3D interagissent avec la lumière. Cette théorie unifie un spectre varié d’apparences en un seul modèle.
De plus, une collaboration entre NVIDIA Research, l’Université de Tokyo, l’Université de Toronto et Adobe Research a permis de mettre au point un algorithme qui génère des courbes lisses et remplissant l’espace sur des maillages 3D en temps réel. Alors que les méthodes précédentes prenaient des heures, ce framework s’exécute en quelques secondes et offre aux utilisateurs un degré élevé de contrôle sur le résultat pour permettre une conception interactive.
Découvrez les recherches de NVIDIA au SIGGRAPH
NVIDIA événements au SIGGRAPH comprendra un causerie au coin du feu entre le fondateur et PDG de NVIDIA, Jensen Huang, et Lauren Goode, rédactrice principale chez Câblésur l’impact de la robotique et de l’IA dans la digitalisation industrielle.
Les chercheurs de NVIDIA présenteront également Journée OpenUSD par NVIDIAun événement d’une journée présentant la manière dont les développeurs et les leaders de l’industrie adoptent et font évoluer OpenUSD pour créer des pipelines 3D basés sur l’IA.
Recherche NVIDIA a des centaines de scientifiques et des ingénieurs dans le monde entier, avec des équipes axé sur des sujets y compris l’IA, l’infographie, la vision par ordinateur, les voitures autonomes et la robotique.
A propos de l’auteur
Aaron Lefohn dirige l’équipe de recherche sur le rendu en temps réel chez NVIDIA. Il a dirigé des équipes de recherche sur le rendu en temps réel et les modèles de programmation graphique pendant plus d’une décennie et a mis en pratique de nombreuses idées de recherche sur les jeux, le rendu de films, le matériel GPU et les API GPU.
Les inventions des équipes de Lefohn ont joué un rôle clé dans l’introduction du ray tracing dans les graphiques en temps réel, en combinant l’IA et l’infographie, et en étant les pionniers de l’infographie IA en temps réel. Parmi les produits NVIDIA dérivés des inventions des équipes, on trouve DLSS, RTX Direct Illumination (RTXDI), les débruiteurs en temps réel de NVIDIA (NRD), l’OptiX Deep Learning Denoiser, et bien d’autres encore.
Les domaines d’intérêt actuels des équipes comprennent le transport de lumière physique en temps réel, l’infographie IA, les mesures d’images et les systèmes graphiques.
Lefohn a précédemment travaillé dans la recherche et le développement de rendu chez Pixar Animation Studios, créant des outils de rendu interactifs pour les artistes du cinéma. Il a également fait partie d’une start-up graphique appelée Neoptica, qui a créé des logiciels de rendu et des modèles de programmation pour la PlayStation 3 de Sony. En outre, Lefohn a dirigé des recherches sur le rendu en temps réel chez Intel. Il a obtenu son doctorat en informatique à l’UC Davis, sa maîtrise en informatique à l’Université de l’Utah et une maîtrise en chimie théorique.
2024-07-12 16:02:34
1720791120
#NVIDIA #Research #présentera #les #avancées #matière #simulation #dIA #générative #SIGGRAPH
