Les ingénieurs de l’Université Northwestern ont développé un nouveau système de capture de mouvement sur tout le corps – ; et cela ne nécessite pas de salles spécialisées, d’équipements coûteux, de caméras encombrantes ou d’un ensemble de capteurs.
Au lieu de cela, cela nécessite un simple appareil mobile.
Appelé MobilePoser, le nouveau système exploite les capteurs déjà intégrés aux appareils mobiles grand public, notamment les smartphones, les montres intelligentes et les écouteurs sans fil. En utilisant une combinaison de données de capteurs, d’apprentissage automatique et de physique, MobilePoser suit avec précision la pose de tout le corps d’une personne et sa traduction globale dans l’espace en temps réel.
“Fonctionnant en temps réel sur les appareils mobiles, MobilePoser atteint une précision de pointe grâce à un apprentissage automatique avancé et à une optimisation basée sur la physique, ouvrant de nouvelles possibilités en matière de jeux, de fitness et de navigation intérieure sans avoir besoin d’équipement spécialisé”, a déclaré Karan Ahuja de Northwestern, qui a dirigé l’étude.
Cette technologie marque un grand pas en avant vers la capture de mouvement mobile, rendant les expériences immersives plus accessibles et ouvrant les portes à des applications innovantes dans divers secteurs. »
Karan Ahuja, Université Northwestern
L’équipe d’Ahuja dévoilera MobilePoser le 15 octobre, lors du symposium ACM 2024 sur les logiciels et technologies d’interface utilisateur à Pittsburgh. “MobilePoser : estimation de pose du corps entier en temps réel et traduction humaine 3D à partir d’IMU dans des appareils mobiles grand public” aura lieu dans le cadre d’une session sur “Poses en entrée”.
Expert en interaction homme-machine, Ahuja est professeur adjoint d’informatique Lisa Wissner-Slivka et Benjamin Slivka à la McCormick School of Engineering de Northwestern, où il dirige le laboratoire de détection, de perception, d’informatique interactive et d’expérience (SPICE).
Limites des systèmes actuels
La plupart des cinéphiles connaissent les techniques de capture de mouvement, qui sont souvent révélées dans les images des coulisses. Pour créer des personnages CGI – ; comme Gollum dans “Le Seigneur des Anneaux” ou les Na’vi dans “Avatar” – ; les acteurs portent des combinaisons ajustées recouvertes de capteurs lorsqu’ils rôdent dans des salles spécialisées. Un ordinateur capture les données du capteur puis affiche les mouvements et les expressions subtiles de l’acteur.
“Il s’agit de la référence en matière de capture de mouvement, mais l’exécution de cette configuration coûte plus de 100 000 dollars”, a déclaré Ahuja. “Nous voulions développer une version accessible et démocratisée que tout le monde puisse utiliser avec l’équipement qu’il possède déjà.”
D’autres systèmes de détection de mouvement, comme Microsoft Kinect, par exemple, s’appuient sur des caméras fixes qui visualisent les mouvements du corps. Si une personne se trouve dans le champ de vision de la caméra, ces systèmes fonctionnent bien. Mais ils ne sont pas pratiques pour les applications mobiles ou en déplacement.
Prédire les poses
Pour surmonter ces limitations, l’équipe d’Ahuja s’est tournée vers les unités de mesure inertielle (IMU), un système qui utilise une combinaison de capteurs – ; accéléromètres, gyroscopes et magnétomètres – ; pour mesurer le mouvement et l’orientation d’un corps. Ces capteurs résident déjà dans les smartphones et autres appareils, mais la fidélité est trop faible pour des applications précises de capture de mouvement. Pour améliorer leurs performances, l’équipe d’Ahuja a ajouté un algorithme d’intelligence artificielle (IA) personnalisé à plusieurs étapes, qu’elle a formé à l’aide d’un vaste ensemble de données accessible au public de mesures IMU synthétisées générées à partir de données de capture de mouvement de haute qualité.
Grâce aux données du capteur, MobilePoser obtient des informations sur l’accélération et l’orientation du corps. Ensuite, il alimente ces données via un algorithme d’IA, qui estime les positions et les rotations des articulations, la vitesse et la direction de la marche, ainsi que le contact entre les pieds de l’utilisateur et le sol.
Enfin, MobilePoser utilise un optimiseur basé sur la physique pour affiner les mouvements prévus afin de garantir qu’ils correspondent aux mouvements corporels réels. Dans la vraie vie, par exemple, les articulations ne peuvent pas se plier vers l’arrière et une tête ne peut pas pivoter à 360 degrés. L’optimiseur physique garantit que les mouvements capturés ne peuvent pas non plus se déplacer de manière physiquement impossible.
Le système résultant présente une erreur de suivi de seulement 8 à 10 centimètres. A titre de comparaison, le Microsoft Kinect a une erreur de suivi de 4 à 5 centimètres, en supposant que l’utilisateur reste dans le champ de vision de la caméra. Avec MobilePoser, l’utilisateur a la liberté de se déplacer.
“La précision est meilleure lorsqu’une personne porte plus d’un appareil, comme une montre intelligente au poignet et un smartphone dans sa poche”, a déclaré Ahuja. “Mais un élément clé du système est qu’il est adaptatif. Même si vous n’avez pas de montre un jour et que vous n’avez que votre téléphone, il peut s’adapter pour déterminer la pose de tout votre corps.”
Cas d’utilisation potentiels
Si MobilePoser pourrait offrir aux joueurs des expériences plus immersives, la nouvelle application présente également de nouvelles possibilités en matière de santé et de forme physique. Cela va au-delà du simple comptage des pas pour permettre à l’utilisateur de visualiser la posture de l’ensemble de son corps, afin qu’il puisse s’assurer que sa forme est correcte lors de l’exercice. La nouvelle application pourrait également aider les médecins à analyser la mobilité, le niveau d’activité et la démarche des patients. Ahuja imagine également que la technologie pourrait être utilisée pour la navigation intérieure – ; un point faible actuel pour le GPS, qui ne fonctionne qu’en extérieur.
“À l’heure actuelle, les médecins suivent la mobilité des patients à l’aide d’un compteur de pas”, a déclaré Ahuja. “C’est un peu triste, non ? Nos téléphones peuvent calculer la température à Rome. Ils en savent plus sur le monde extérieur que sur notre propre corps. Nous aimerions que les téléphones deviennent plus que de simples compteurs de pas intelligents. Un téléphone devrait être capable de détecter différentes activités, déterminez vos poses et soyez un assistant plus proactif.
Pour encourager d’autres chercheurs à s’appuyer sur ce travail, l’équipe d’Ahuja a publié ses modèles pré-entraînés, ses scripts de prétraitement des données et son code de formation de modèles sous forme de logiciel open source. Ahuja indique également que l’application sera bientôt disponible pour iPhone, AirPods et Apple Watch.
#nouveau #système #capture #mouvements #corps #entier #temps #réel #laide #dappareils #grand #public
