Un paquete de software para facilitar el uso de campos de radiación neuronal en la investigación de la robótica.

26 de mayo de 2023                     característica

Este artículo ha sido revisado de acuerdo con el proceso editorial                    y políticas de Science X.                    Los editores han destacado                    los siguientes atributos mientras garantizan la credibilidad del contenido:

• verificado por hechos
• preimpreso
• fuente confiable
• corregido

por Ingrid Fadelli, Tech Xplore

Los campos de radiación neuronal (NeRF) son técnicas avanzadas de aprendizaje automático que pueden generar representaciones tridimensionales (3D) de objetos o entornos a partir de imágenes bidimensionales (2D). Como estas técnicas pueden modelar entornos complejos del mundo real de manera realista y detallada, podrían respaldar en gran medida la investigación robótica.

La mayoría de los conjuntos de datos y plataformas existentes para entrenar NeRF, sin embargo, están diseñados para usarse sin conexión, ya que requieren la finalización de un paso de optimización de posición que retrasa significativamente la creación de representaciones foto realistas. Hasta ahora, esto ha impedido que la mayoría de los robotistas utilicen estas técnicas para probar sus algoritmos en robots físicos en tiempo real.

Un equipo de investigación en la Universidad de Stanford presentó recientemente NerfBridge, un nuevo paquete de software de código abierto para entrenar algoritmos NeRF que podría permitir su uso en experimentos de robótica en línea. Este paquete, introducido en un artículo prepublicado en arXiv, está diseñado para unir efectivamente ROS (sistema operativo de robot), una renombrada biblioteca de software para aplicaciones de robótica, y Nerfstudio, una biblioteca de código abierto diseñada para entrenar NeRF en tiempo real.

"Recientemente, los miembros de mi laboratorio, el Stanford Multi-robot Systems Lab, han estado entusiasmados por explorar aplicaciones de Neural Radiance Fields (NeRF) en robótica, pero descubrimos que en este momento no hay una manera fácil de usar estos métodos con un robot real, por lo que es imposible hacer experimentos reales con ellos", dijo Javier Yu, primer autor del artículo, a Tech Xplore. "Como no existían herramientas, decidimos construirlas nosotros mismos y de ese impulso de ingeniería para ver cómo funcionan los NeRF en los robots, obtuvimos una herramienta agradable que creemos que será útil para muchas personas en la comunidad de robótica."

Los NeRF son técnicas sofisticadas basadas en redes neuronales artificiales que fueron introducidas por la comunidad de investigación de gráficos por computadora. Básicamente crean mapas detallados del mundo mediante el entrenamiento de una red neuronal para reconstruir la geometría 3D y el color de la escena capturada en una fotografía o imagen 2D.

"El problema de mapear a partir de imágenes es uno en el que la comunidad de robótica ha estado trabajando durante mucho tiempo y los NeRF ofrecen una nueva perspectiva sobre cómo abordarlo", explicó Yu. "Típicamente, los NeRF se entrenan de manera sin conexión donde se recopilan todas las imágenes de antemano y luego el NeRF de la escena se entrena de una sola vez. Sin embargo, en robótica, queremos usar el NeRF directamente para tareas como la navegación y, por lo tanto, el NeRF no es útil si solo lo obtenemos cuando llegamos a nuestro destino. En su lugar, queremos construir el NeRF incrementalmente (en línea) a medida que el robot explora su entorno. Este es exactamente el problema que NerfBridge resuelve."

NerfBridge, el paquete presentado por Yu y sus colegas, utiliza imágenes capturadas por los sensores y cámaras integrados en robots físicos. Estas imágenes se transmiten continuamente a la potente biblioteca de entrenamiento de NeRF de Nerfstudio, lo que permite la creación de NeRF que se actualizan constantemente y mejoran a medida que el robot captura nuevas imágenes de su entorno.

Para demostrar el potencial de su método, Yu y sus colegas lo utilizaron para entrenar un NeRF basado en imágenes capturadas por una cámara montada en un quadrotor, un dron con cuatro rotores, mientras volaba en entornos interiores y exteriores. Sus resultados fueron notables, destacando el valor de NerfBridge para facilitar el uso de NeRF en la investigación robótica.

Este método prometedor podría utilizarse pronto por otros investigadores para entrenar NERF y probar sus algoritmos en robots físicos mientras navegan en su entorno circundante. Mientras tanto, Yu y sus colegas planean explorar estrategias adicionales que podrían ampliar el uso de NeRF en robótica.

"En última instancia, esperamos que NerfBridge reduzca la barrera de entrada para que otros investigadores comiencen a examinar las aplicaciones de NeRF en robótica y prueben sus nuevos algoritmos en robots en el mundo real", agregó Yu. "A partir de NerfBridge, vamos a buscar métodos para mejorar el entrenamiento de NeRF cuando las imágenes se transmitan desde un robot y demostrando las ventajas concretas de usar mapas basados en NeRF para otras tareas en robótica como la localización y la navegación."

© 2023 Science X Network