Des chercheurs du MIT présentent un nouveau système de vision par ordinateur qui transforme n’importe quel objet brillant en une sorte de caméra : permettant à un observateur de voir dans les coins ou au-delà des obstacles

Des informations précieuses et souvent cachées sur son environnement immédiat peuvent être glanées à partir de la réflexion d’un objet. En les transformant en caméras, on peut faire des exploits d’image auparavant inconcevables, comme regarder à travers les murs ou vers le ciel. C’est difficile car plusieurs facteurs influencent les réflexions, notamment la géométrie de l’objet, les qualités du matériau, l’environnement 3D et le point de vue de l’observateur. En déconstruisant en interne la géométrie et l’éclat de l’objet à partir de l’éclat spéculaire réfléchi sur lui, les humains peuvent tirer des indices de profondeur et sémantiques sur les parties occultées de l’environnement.

Des chercheurs en vision par ordinateur du MIT et de Rice ont développé une méthode d’utilisation des réflexions pour produire des images de l’environnement réel. À l’aide de reflets, ils transforment des objets brillants en « caméras », donnant l’impression que l’utilisateur regarde le monde à travers les « lentilles » d’objets banals comme une tasse à café en céramique ou un presse-papier métallique.

La méthode utilisée par les chercheurs consiste à transformer des objets brillants de géométrie indéterminée en caméras à champ de rayonnement. L’idée principale est d’utiliser la surface de l’objet comme un capteur numérique pour enregistrer la lumière réfléchie de l’environnement environnant en deux dimensions.

Les chercheurs démontrent que la synthèse de nouvelles vues, le rendu de nouvelles vues qui ne sont directement visibles que pour l’objet brillant dans la scène mais pas pour l’observateur, est possible grâce à la récupération des champs de rayonnement de l’environnement. De plus, nous pouvons imaginer des obturateurs créés par des objets proches dans la scène en utilisant le champ de radiance. La méthode développée par les chercheurs est enseignée de bout en bout à l’aide de nombreuses photographies de l’objet pour estimer simultanément sa géométrie, son rayonnement diffus et le champ de rayonnement de son environnement 5D.

La recherche vise à séparer l’objet de ses reflets afin que l’objet puisse « voir » le monde comme s’il s’agissait d’un appareil photo et enregistrer son environnement. La vision par ordinateur a lutté avec les réflexions pendant un certain temps car elles sont une représentation 2D déformée d’une scène 3D dont la forme est inconnue.

Les chercheurs modélisent la surface de l’objet comme un capteur virtuel, collectant la projection 2D du champ de rayonnement de l’environnement 5D autour de l’objet pour créer une représentation 3D du monde tel que la chose le voit. La majeure partie du champ de rayonnement de l’environnement est obscurcie, sauf via les réflexions de l’objet. Au-delà du champ de vision, la synthèse de nouvelles vues, ou le rendu de nouvelles vues qui ne sont directement visibles que pour l’objet brillant dans la scène mais pas pour l’observateur, est rendue possible par l’utilisation de champs de rayonnement d’environnement, qui permettent également pour l’estimation de la profondeur et de la luminance de l’objet à son environnement.

En résumé, l’équipe a fait ce qui suit :

• Ils démontrent comment les surfaces implicites peuvent être transformées en capteurs virtuels avec la capacité de capturer des images 3D de leurs environnements en utilisant uniquement des cônes virtuels.
• Ensemble, ils calculent le champ de rayonnement ambiant 5D de l’objet et estiment son rayonnement diffus.
• Ils montrent comment utiliser le champ lumineux de l’environnement environnant pour générer de nouveaux points de vue invisibles à l’œil humain.

Ce projet vise à reconstituer le champ de rayonnement 5D de l’environnement à partir de nombreuses photographies d’un objet brillant dont la forme et l’albédo sont inconnus. L’éblouissement des surfaces réfléchissantes révèle des éléments de la scène en dehors du cadre de vue. Plus précisément, les normales de surface et la courbure de l’objet brillant déterminent la façon dont les images de l’observateur sont mappées sur le monde réel.

Les chercheurs peuvent avoir besoin d’informations plus précises sur la forme de l’objet ou la réalité réfléchie, contribuant à la distorsion. Il est également possible que la couleur et la texture de l’objet brillant se confondent avec les reflets. De plus, il n’est pas facile de discerner la profondeur dans les scènes réfléchies puisque les réflexions sont des projections bidimensionnelles d’un environnement tridimensionnel.

L’équipe de chercheurs a surmonté ces obstacles. Ils commencent par photographier l’objet brillant sous différents angles, capturant une variété de reflets. Orca (Objects such as Radiance-Field Cameras) est l’acronyme de leur processus en trois étapes.

Orca peut enregistrer des réflexions multivues en imageant l’objet sous différents angles, qui sont ensuite utilisés pour estimer la profondeur entre l’objet brillant et les autres objets de la scène et la forme de l’objet brillant lui-même. Plus d’informations sur la force et la direction des rayons lumineux provenant de et frappant chaque point de l’image sont capturées par le modèle de champ de rayonnement 5D d’ORCa. Orca peut faire des estimations de profondeur plus précises grâce aux données de ce champ de rayonnement 5D. Étant donné que la scène est affichée sous la forme d’un champ de rayonnement 5D plutôt que d’une image 2D, l’utilisateur peut voir des détails que les coins ou d’autres obstacles obscurciraient autrement. Les chercheurs expliquent qu’une fois qu’ORCa a collecté le champ de rayonnement 5D, l’utilisateur peut positionner une caméra virtuelle n’importe où dans la zone et générer l’image synthétique que la caméra produirait. L’utilisateur peut également modifier l’apparence d’un élément, par exemple de la céramique au métal, ou incorporer des objets virtuels dans la scène.

En élargissant la définition du champ de rayonnement au-delà du champ de rayonnement traditionnel en ligne directe, les chercheurs peuvent ouvrir de nouvelles voies d’enquête sur l’environnement et les objets qu’il contient. En utilisant des vues virtuelles projetées et de la profondeur, le travail peut ouvrir des possibilités d’insertion d’objets virtuels et de perception 3D, telles que l’extrapolation d’informations provenant de l’extérieur du champ de vision de la caméra.

Vérifiez Papier et Page du projet. N’oubliez pas de rejoindre notre sous-reddit 22k+ ML, Chaîne discorde, et Courriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore. Si vous avez des questions concernant l’article ci-dessus ou si nous avons manqué quelque chose, n’hésitez pas à nous envoyer un e-mail à [email protected]

???? Découvrez les outils d’intelligence artificielle de 100 dans AI Tools Club