Rejoignez les dirigeants à Boston le 27 mars pour une soirée exclusive de réseautage, d’idées et de conversation. Demandez une invitation ici.
IA de stabilité développe aujourd’hui son portefeuille de modèles d’IA génératifs avec la sortie de Stable Video 3D (SV3D).
Comme son nom l’indique, le nouveau modèle est un outil vidéo Gen AI pour le rendu de vidéos 3D. Stability AI a développé des capacités vidéo avec sa technologie Stable Video qui permet aux utilisateurs de générer une courte vidéo à partir d’une invite d’image ou de texte. SV3D s’appuie sur le précédent modèle de diffusion vidéo stable de Stability AI, en l’adaptant à la tâche de nouvelle synthèse de vues et de génération 3D.
Avec SV3D, Stability AI ajoute une nouvelle profondeur à son modèle de génération vidéo avec la possibilité de créer et de transformer des maillages 3D multi-vues à partir d’une seule image d’entrée.
SV3D est maintenant disponible pour un usage commercial avec un Adhésion professionnelle Stability AI (20 $ par mois pour les créateurs et développeurs ayant moins d’un million de dollars de revenus annuels). À des fins non commerciales, les utilisateurs peuvent télécharger les poids du modèle depuis Visage câlin.
Événement VB
La tournée AI Impact – Atlanta
Poursuivant notre tournée, nous nous dirigeons vers Atlanta pour l’arrêt du AI Impact Tour le 10 avril. Cet événement exclusif, sur invitation uniquement, en partenariat avec Microsoft, proposera des discussions sur la façon dont l’IA générative transforme le personnel de sécurité. Les places sont limitées, alors demandez une invitation dès aujourd’hui.
Demandez une invitation
Voici un exemple de vidéo que j’ai généré rapidement. Comme vous le verrez, malgré quelques légères distorsions, les formes de tous les objets de la vidéo restent nettement cohérentes et solides même lorsque la caméra tourne autour d’eux.
Création de jeux, e-commerce cités comme cas d’usage cibles
“En adaptant notre modèle de diffusion image-vidéo Stable Video Diffusion avec l’ajout du conditionnement du chemin de la caméra, Stable Video 3D est capable de générer des vidéos multi-vues d’un objet”, a écrit la société dans un communiqué. article de blog détaillant le nouveau modèle.
“Stable Video 3D est un outil précieux pour générer des actifs 3D, en particulier dans le secteur des jeux”, a déclaré Varun Jampani, chercheur principal chez Stability AI, à VentureBeat. “De plus, il permet la production de vidéos orbitales à 360 degrés, utiles dans le commerce électronique, offrant une expérience d’achat plus immersive et interactive.”
De Stable Zero123 à SV3D
Stability AI est peut-être mieux connu pour ses modèles d’IA de génération texte-image Stable Diffusion qui incluent SDXL et Stable Diffusion 3.0, ce dernier encore en avant-première de recherche. Stable Diffusion 1.5 est un modèle de génération d’images open source qui constitue la base de nombreux autres produits de génération d’images et vidéo IA, notamment Piste et Léonard IA.
En décembre 2023, le modèle Stable Zero123 a été publié, offrant de nouvelles fonctionnalités pour créer des images 3D. À l’époque, Emad Mostaque, fondateur et PDG de Stability AI, avait déclaré à VentureBeat que Stable Zero123 serait le premier d’une série de modèles 3D.
La technologie SV3D adopte une approche différente de la génération 3D par rapport à Stable Zero123.
« Stable Video 3D peut être considéré comme un successeur et une amélioration de notre offre précédente. Zéro stable123», a déclaré Jampani. « Stable Video 3D est un nouveau réseau de synthèse de vues qui prend une seule image en entrée et génère de nouvelles images de vue.
Jampani a expliqué que Stable Zero123 est basé sur Stable Diffusion et génère une image à la fois. Stable Video 3D est basé sur des modèles de diffusion vidéo stable et génère simultanément plusieurs nouvelles vues. Stable Video 3D fournit de nouvelles vues de bien meilleure qualité et peut ainsi aider à générer de meilleurs maillages 3D à partir d’une seule image.
Des vues cohérentes sous n’importe quel angle donné
Dans un document de rechercheLes chercheurs de Stability AI détaillent certaines des techniques utilisées pour activer la 3D à partir d’une seule image à l’aide de la diffusion vidéo latente.
“Des travaux récents sur la génération 3D proposent des techniques pour adapter les modèles génératifs 2D pour une nouvelle synthèse de vues (NVS) et une optimisation 3D”, indique le rapport. “Cependant, ces méthodes présentent plusieurs inconvénients dus soit à des vues limitées, soit à un NVS incohérent, affectant ainsi les performances de génération d’objets 3D.”
L’un des principaux atouts de SV3D réside dans sa capacité à générer de nouvelles images multi-vues cohérentes d’un objet. Selon Stability AI, SV3D offre des vues cohérentes sous n’importe quel angle donné.
Le document de recherche sur SV3D met en évidence cette avancée en notant que « . …contrairement aux approches précédentes qui se heurtent souvent à des perspectives limitées et à des incohérences dans les résultats, Stable Video 3D est capable de fournir des vues cohérentes sous n’importe quel angle donné avec une généralisation compétente.
En plus de ses nouvelles capacités de synthèse de vues, SV3D vise également à optimiser les maillages 3D. En tirant parti de sa cohérence multi-vues, SV3D peut générer des maillages 3D de haute qualité directement à partir des nouvelles vues qu’il produit.
“Stable Video 3D exploite sa cohérence multi-vues pour optimiser les champs de radiance neuronale 3D (NeRF) et les représentations de maillage afin d’améliorer la qualité des maillages 3D générés directement à partir de nouvelles vues”, a écrit Stability AI dans son message d’annonce.
Deux variantes puissantes : SV3D_u et SV3D_p
SV3D est disponible en deux variantes, chacune conçue pour des cas d’utilisation spécifiques.
SV3D_u génère des vidéos orbitales basées sur des entrées d’image unique sans avoir besoin de conditionnement de caméra. Le conditionnement de caméra dans l’IA générative fait référence à une technique dans laquelle une entrée supplémentaire, souvent sous la forme d’une image ou d’un ensemble de paramètres liés aux perspectives ou aux positions de la caméra, est utilisée pour guider le processus de génération de nouvelles images ou de nouveaux contenus.
D’autre part, SV3D_p étend cette capacité en prenant en charge à la fois des images uniques et des vues orbitales, permettant aux utilisateurs de créer des vidéos 3D le long de trajectoires de caméra spécifiées.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie et les transactions d’entreprise transformatrices. Découvrez nos Briefings.
2024-03-19 03:22:00
1710810264
#Stability #apporte #une #nouvelle #dimension #vidéo #avec #Stable #Video
