Ein Softwarepaket zur Vereinfachung der Nutzung von Neuronalen Strahlungsfeldern in der Roboterforschung.

26. Mai 2023 funktion

Dieser Artikel wurde gemäß dem Redaktionsprozess und den Richtlinien von Science X überprüft. Die Herausgeber haben bei der Sicherstellung der Glaubwürdigkeit des Inhalts folgende Merkmale hervorgehoben:

• Faktengesichert
• Vorabdruck
• Vertrauenswürdige Quelle
• korrekturgelesen

von Ingrid Fadelli, Tech Xplore

Neural Radiance Fields (NeRFs) sind fortgeschrittene Machine-Learning-Techniken, die dreidimensionale (3D) Darstellungen von Objekten oder Umgebungen aus zweidimensionalen (2D) Bildern generieren können. Da diese Techniken komplexe realitätsnahe und detaillierte Real-World-Umgebungen modellieren können, könnten sie die Robotikforschung erheblich unterstützen.

Die meisten vorhandenen Datensätze und Plattformen für die Schulung von NeRFs sind jedoch für die Offline-Nutzung konzipiert, da sie die Durchführung eines Pose-Optimierungsschritts erfordern, der die Erstellung fotorealistischer Darstellungen erheblich verzögert. Dies hat bislang den Großteil der Roboterforscher davon abgehalten, diese Techniken zur Prüfung ihrer Algorithmen an physischen Robotern in Echtzeit zu nutzen.

Ein Forschungsteam an der Stanford University hat kürzlich NerfBridge vorgestellt, ein neues Open-Source-Softwarepaket zur Schulung von NeRF-Algorithmen, das letztendlich ihren Einsatz in Online-Robotikexperimenten ermöglichen könnte, Dieses Paket, das in einem auf arXiv vorveröffentlichten Papier vorgestellt wurde, ist darauf ausgelegt, ROS (das Robot Operating System), eine renommierte Softwarebibliothek für Robotikanwendungen, und Nerfstudio, eine Open-Source-Bibliothek zur Schulung von NeRFs in Echtzeit, effektiv zu verbinden.

“In letzter Zeit war mein Labor, das Stanford Multi-Robot Systems Laboratory, begeistert davon, Anwendungen von Neural Radiance Fields (NeRFs) in der Robotik zu erkunden, aber wir haben festgestellt, dass es derzeit keine einfache Möglichkeit gibt, diese Methoden mit einem tatsächlichen Roboter zu verwenden. Es ist also unmöglich, damit wirkliche Experimente durchzuführen,” sagte Javier Yu, der Erstautor des Papiers, zu Tech Xplore. “Da die Werkzeuge nicht existierten, haben wir beschlossen, sie selbst zu bauen, und aus diesem technischen Fortschritt heraus, um zu sehen, wie NeRFs auf Robotern funktionieren, haben wir ein schönes Werkzeug erhalten, das wir für sehr nützlich halten werden für die Robotik-Community."

NeRFs sind anspruchsvolle Techniken auf der Basis künstlicher neuronaler Netze, die erstmals von der Computergrafik-Forschungsgemeinschaft vorgestellt wurden. Sie erstellen im Wesentlichen detaillierte Karten der Welt, indem sie ein neuronales Netzwerk schulen, um die 3D-Geometrie und Farbe der Szene, die in einem Foto oder 2D-Bild erfasst wurde, zu rekonstruieren.

"Das Problem der Kartierung aus Bildern ist eines, an dem wir in der Robotikgemeinschaft schon lange arbeiten, und NeRFs bieten eine neue Perspektive, wie man es angehen kann", erklärte Yu. "Typischerweise werden NeRFs offline geschult, wo alle Bilder im Voraus gesammelt werden, und dann wird der NeRF der Szene in einem Schritt geschult. In der Robotik möchten wir den NeRF jedoch direkt für Aufgaben wie Navigation einsetzen, und deshalb ist der NeRF nicht nützlich, wenn wir ihn nur bekommen, wenn wir am Ziel ankommen. Stattdessen möchten wir den NeRF inkrementell (online) aufbauen, während der Roboter seine Umgebung erkundet. Dies ist genau das Problem, das NerfBridge löst."

NerfBridge, das von Yu und seinen Kollegen eingeführte Paket, nutzt Bilder, die von den Sensoren und Kameras integrierter physischer Roboter erfasst werden. Diese Bilder werden kontinuierlich in die leistungsstarke NeRF-Trainingsbibliothek von Nerfstudio gestreamt, so dass NeRFs erstellt werden können, die sich ständig aktualisieren und verbessern, wenn der Roboter neue Bilder seiner Umgebung erfasst.

Um das Potenzial ihrer Methode zu demonstrieren, nutzten Yu und seine Kollegen sie, um einen NeRF auf Basis von Bildern zu schulen, die von einer Kamera auf einem Quadrotor, einer Drohne mit vier Rotoren, aufgenommen wurden, als er in Innen- und Außenbereichen flog. Ihre Ergebnisse waren bemerkenswert und unterstreichen den Wert von NerfBridge für die Erleichterung der Nutzung von NeRFs in der Robotikforschung.

Diese vielversprechende Methode könnte somit bald von anderen Forschern genutzt werden, um NeRFs zu schulen und ihre Algorithmen an physischen Robotern zu testen, während sie ihre Umgebung erkunden. Yu und seine Kollegen planen derweil, zusätzliche Strategien zu erforschen, die den Einsatz von NeRFs in der Robotik erweitern könnten.

"Letztendlich hoffen wir, dass NerfBridge die Eintrittsbarriere für andere Forscher senken wird, um Anwendungen von NeRFs in der Robotik zu untersuchen und ihre neuen Algorithmen auf Robotern in der realen Welt zu testen," fügte Yu hinzu. "Von NerfBridge aus wollen wir Methoden zur Verbesserung des NeRF-Trainings untersuchen, wenn Bilder aus einem Roboter gestreamt werden, und die konkreten Vorteile der Verwendung von NeRF-basierten Karten für andere Aufgaben in der Robotik wie Lokalisierung und Navigation demonstrieren."

© 2023 Science X Network