MUNICH (IT BOLTWISE) – Meta présente de nouveaux outils d’IA qui aident les robots à mieux comprendre et interagir avec le monde physique. La sortie de Sparsh, Digit 360 et Digit Plexus vise à améliorer considérablement l’interaction homme-robot.
Meta a fait cette semaine plusieurs annonces importantes sur la robotique et l’IA incarnée, y compris des références et des artefacts pour améliorer la robotique dans le monde physique. Les innovations récemment introduites incluent les modèles Sparsh, Digit 360 et Digit Plexus, tous destinés à la perception tactile, à la dextérité du robot et à une interaction homme-robot plus étroite. Meta lance également PARTNR, un outil de référence pour évaluer les capacités de planification et de prise de décision dans la collaboration homme-robot.
Meta s’appuie de plus en plus sur l’utilisation de grands modèles linguistiques (LLM) et de modèles vision-langage (VLM) pour permettre aux robots d’effectuer des tâches complexes qui nécessitent une planification et une résolution de problèmes.
Perception tactile avec Sparsh
Le modèle Sparsh, développé en collaboration avec l’Université de Washington et l’Université Carnegie Mellon, représente une famille de modèles d’encodeurs pour la perception tactile. Cette technologie permet aux robots d’avoir une perception tactile, telle que la capacité d’appliquer la bonne pression sur les objets à exercer. Sparsh est formé à l’aide d’un apprentissage auto-supervisé (SSL), éliminant ainsi le besoin de données volumineuses étiquetées manuellement. Le modèle a actuellement été entraîné avec plus de 460 000 images tactiles collectées à partir de divers ensembles de données. Sparsh présente une amélioration de 95,1 % par rapport aux modèles de bout en bout traditionnels, chacun adapté uniquement à des tâches et à des capteurs spécifiques.
Le nouveau capteur tactile Digit 360
Meta présente également le matériel Digit 360 – un capteur tactile artificiel en forme de doigt doté de 18 fonctionnalités de capteur différentes et de 8 millions de taxels. Ce capteur permet aux robots une détection tactile omnidirectionnelle et très détaillée. Les modèles d’IA sont intégrés directement sur le capteur, ce qui signifie que le traitement des données s’effectue localement et que les temps de latence sont minimisés. Cette technologie a des applications potentielles dans des domaines tels que la médecine, les prothèses, la réalité virtuelle et la téléprésence.
En plus de Digit 360, Meta présente Digit Plexus, une plateforme qui intègre plusieurs capteurs tactiles et transmet efficacement les données collectées à un ordinateur. Le partage open source du code et de la conception des deux produits vise à promouvoir la recherche et l’innovation dans la communauté robotique.
Évaluation de l’interaction homme-robot
Avec PARTNR, Meta présente un environnement de référence qui analyse la collaboration entre humains et robots dans les tâches domestiques. PARTNR utilise 100 000 tâches linguistiques dans un environnement simulé et comprend plus de 5 800 objets uniques. Ceci est destiné à évaluer les performances des LLM et des VLM dans le respect des instructions humaines. Ce benchmark rejoint un nombre croissant de projets qui font progresser l’utilisation de modèles de langage en robotique.
Avec ces développements, Meta espère rapprocher la robotique d’une interaction fluide homme-robot, en visant un avenir dans lequel les robots pourront gérer des tâches complexes dans des environnements du monde réel.
Meta présente de nouveaux outils d’IA pour améliorer la perception tactile en robotique (Photo : DALL-E, IT BOLTWISE)
Un avis : Certaines parties de ce texte peuvent avoir été générées à l’aide de l’intelligence artificielle.
Merci d’adresser tout complément et information à la rédaction par email à de-info[at]it-boltwise.de
#Meta #présente #nouveaux #outils #dIA #pour #améliorer #perception #tactile #robotique