Synthétiser des vues à 360 degrés à partir d’images à source unique

ZéroNVS fait partie de ces projets de recherche qui sont bien plus impressionnants qu’il n’y paraît à première vue. D’une part, les reconstructions 3D – nous vous invitons à cliquer sur ce premier lien pour les voir – semblent un peu granuleuses et imparfaites. Mais d’un autre côté, il a été reconstruit à l’aide d’un célibataire image fixe comme entrée.

Comment cela se fait-il ? Ce sont les NeRF (champs de rayonnement neuronaux) qui exploitent l’apprentissage automatique, mais avec encore une nouvelle tournure. Les méthodes existantes se concentrent principalement sur des objets uniques et des arrière-plans masqués, mais une nouvelle approche rend cette méthode applicable à une variété d’images complexes et naturelles sans qu’il soit nécessaire de former de nouveaux modèles.

Il y a une tonne d’exemples de sorties sur la page de synthèse du projet qui valent le détour si vous trouvez ce genre de chose intéressant. Certaines des reconstructions à 360 degrés semblent grossières, d’autres sont impressionnantes et d’autres encore un peu amusantes. Par exemple, les prises de vue en intérieur ont tendance à reconstruire des pièces qui ont fière allure, mais qui manquent de portes.

Il y a un document de recherche pour ceux qui recherchent des détails supplémentaires et un Dépôt GitHub pour le code, mais la mise en œuvre nécessite du matériel important.