Un package logiciel pour faciliter l'utilisation des champs de rayonnement neuronaux dans la recherche en robotique.

26 mai 2023 feature

Cet article a été examiné selon le processus et les politiques éditoriales de Science X Les éditeurs ont mis en évidence les attributs suivants tout en assurant la crédibilité du contenu:

• vérification des faits
• préprint
• source de confiance
• correction de texte

par Ingrid Fadelli, Tech Xplore

Les champs de radiance neuronale (NeRF) sont des techniques avancées d'apprentissage automatique qui peuvent générer des représentations tridimensionnelles (3D) d'objets ou d'environnements à partir d'images bidimensionnelles (2D). Comme ces techniques peuvent modéliser de manière réaliste et détaillée des environnements complexes du monde réel, elles pourraient grandement soutenir la recherche en robotique.

Cependant, la plupart des ensembles de données et des plateformes existantes pour la formation de NeRF sont conçus pour être utilisés hors ligne, car ils nécessitent l'achèvement d'une étape d'optimisation de la pose qui retarde considérablement la création de représentations photoréalistes. Jusqu'à présent, cela a empêché la plupart des roboticiens d'utiliser ces techniques pour tester leurs algorithmes sur des robots physiques en temps réel.

Une équipe de recherche de l'Université Stanford a récemment introduit NerfBridge, un nouveau logiciel open source pour la formation d'algorithmes NeRF qui pourrait finalement permettre leur utilisation dans des expériences de robotique en ligne. Ce package, introduit dans un article prépublié sur arXiv, est conçu pour relier efficacement ROS (le système d'exploitation robotique), une bibliothèque de logiciels renommée pour les applications de robotique, et Nerfstudio, une bibliothèque open source conçue pour former des NeRF en temps réel.

"Récemment, les membres de mon laboratoire, le Stanford Multi-robot Systems Lab, ont été enthousiasmés par l'exploration des applications des champs de radiance neuronale (NeRF) en robotique, mais nous avons constaté qu'il n'y a pas facilement moyen d'utiliser ces méthodes avec un robot réel, il est donc impossible de faire des expériences réelles avec elles ", a déclaré Javier Yu, premier auteur de l'article, à Tech Xplore. " Comme les outils n'existaient pas, nous avons décidé de les construire nous-mêmes et à partir de cette poussée d'ingénierie pour voir comment les NeRF fonctionnent sur les robots, nous avons obtenu un outil sympa que nous pensons sera utile à beaucoup de gens dans la communauté de la robotique. "

Les NeRF sont des techniques sophistiquées basées sur des réseaux de neurones artificiels qui ont été introduites pour la première fois par la communauté de recherche en infographie. Elles créent essentiellement des cartes détaillées du monde en entraînant un réseau neuronal à reconstruire la géométrie en 3D et la couleur de la scène capturée dans une photographie ou une image en 2D.

"Le problème de la cartographie à partir d'images est un problème sur lequel nous, membres de la communauté de la robotique, travaillons depuis longtemps et les NeRF offrent une nouvelle perspective sur la façon de l'aborder", a expliqué Yu. "Typiquement, les NeRF sont formés de manière hors ligne où toutes les images sont collectées à l'avance, puis le NeRF de la scène est formé en une fois. En robotique, cependant, nous voulons utiliser le NeRF directement pour des tâches comme la navigation, et le NeRF n'est pas utile si nous l'obtenons uniquement lorsque nous arrivons à notre destination. Au lieu de cela, nous voulons construire le NeRF de manière incrémentielle (en ligne) à mesure que le robot explore son environnement. C'est exactement le problème que NerfBridge résout. "

NerfBridge, le package introduit par Yu et ses collègues, utilise des images capturées par les capteurs et les caméras intégrés dans les robots physiques. Ces images sont en continu diffusées dans la puissante bibliothèque d'entraînement NeRF de Nerfstudio, permettant la création de NeRF qui se mettent constamment à jour et s'améliorent à mesure que le robot capture de nouvelles images de son environnement.

Pour démontrer le potentiel de leur méthode, Yu et ses collègues l'ont utilisée pour former un NeRF basé sur des images capturées par une caméra montée sur un quadrotor, un drone à quatre rotors, alors qu'il volait dans des environnements intérieurs et extérieurs. Leurs résultats étaient remarquables, soulignant la valeur de NerfBridge pour faciliter l'utilisation de NeRF dans la recherche en robotique.

Cette méthode prometteuse pourrait donc bientôt être utilisée par d'autres chercheurs pour former des NeRF et tester leurs algorithmes sur des robots physiques alors qu'ils naviguent dans leur environnement environnant. Pendant ce temps, Yu et ses collègues prévoient d'explorer des stratégies supplémentaires qui pourraient élargir l'utilisation des NeRF en robotique.

"En fin de compte, nous espérons que NerfBridge réduira les obstacles à l'entrée pour que d'autres chercheurs commencent à examiner les applications des NeRF en robotique et testent leurs nouveaux algorithmes sur des robots dans le monde réel", a ajouté Yu. "À partir de NerfBridge, nous allons examiner des méthodes pour améliorer la formation de NeRF lorsque les images sont diffusées à partir d'un robot et démontrons les avantages concrets de l'utilisation de cartes basées sur NeRF pour d'autres tâches en robotique comme la localisation et la navigation."

© 2023 Science X Network