Un pacchetto software per facilitare l'uso di campi di radianza neurale nella ricerca robotica.

26 maggio 2023 caratteristica

Questo articolo è stato esaminato in base al processo editoriale e alle politiche di Science X. Gli editori hanno evidenziato i seguenti attributi garantendo la credibilità del contenuto:

• verificato sui fatti
• pre-stampa
• fonte affidabile
• revisionato

da Ingrid Fadelli, Tech Xplore

I campi a radianza neurale (NeRF) sono sofisticate tecniche di apprendimento automatico in grado di generare rappresentazioni tridimensionali (3D) di oggetti o ambienti a partire da immagini bidimensionali (2D). Poiché queste tecniche possono modellare in modo realistico e dettagliato complessi ambienti reali, potrebbero offrire un grande supporto alla ricerca robotica.

Tuttavia, la maggior parte dei dataset e delle piattaforme esistenti per la formazione di NeRF sono progettati per essere utilizzati offline, in quanto richiedono il completamento di una fase di ottimizzazione della posizione che ritarda significativamente la creazione di rappresentazioni fotorealistiche. Fino ad ora, questo ha impedito alla maggior parte dei robotisti di utilizzare queste tecniche per testare i loro algoritmi su robot fisici in tempo reale.

Un team di ricerca dell'Università di Stanford ha recentemente introdotto NerfBridge, un nuovo pacchetto software open source per la formazione di algoritmi NeRF che potrebbe consentire, in ultima analisi, l'uso di tali tecniche in esperimenti di robotica online. Questo pacchetto, presentato in un articolo pre-pubblicato su arXiv, è progettato per collegare efficacemente ROS (il sistema operativo del robot), una rinomata libreria software per le applicazioni di robotica, e Nerfstudio, una libreria open source progettata per la formazione di NeRF in tempo reale.

'Recentemente membri del nostro laboratorio, il Stanford Multi-robot Systems Lab, sono stati entusiasti nell'esplorare le applicazioni dei campi a radianza neurale (NeRF) in robotica, ma abbiamo trovato che al momento non esiste un modo semplice per utilizzare questi metodi con un vero robot, quindi è impossibile fare esperimenti reali con essi,' ha detto a Tech Xplore Javier Yu, primo autore dell'articolo. 'Dal momento che gli strumenti non esistevano, abbiamo deciso di costruirli noi stessi e dallo sforzo di ingegneria per capire come funzionano i NeRF sui robot abbiamo ottenuto uno strumento utile per molte persone nella comunità della robotica'.

I NeRF sono sofisticate tecniche basate su reti neurali artificiali, introdotte per la prima volta dalla comunità di ricerca in computer grafica. Essi creano essenzialmente mappe dettagliate del mondo formando una rete neurale per ricostruire la geometria 3D e il colore della scena catturata in una fotografia o immagine 2D.

'Il problema della mappatura dalle immagini è uno su cui la comunità della robotica lavora da molto tempo e i NeRF offrono una nuova prospettiva su come affrontarlo,' ha spiegato Yu. 'In genere, i NeRF vengono addestrati in modo offline dove tutte le immagini vengono raccolte in anticipo e poi il NeRF della scena viene addestrato tutto in una volta sola. In robotica, tuttavia, vogliamo utilizzare direttamente i NeRF per compiti come la navigazione e quindi i NeRF non sono utili se li otteniamo solo quando arriviamo alla destinazione. Invece, vogliamo costruire i NeRF in modo incrementale (online) mentre il robot esplora il suo ambiente. Questo è esattamente il problema che NerfBridge risolve'.

NerfBridge, il pacchetto presentato da Yu e dai suoi colleghi, utilizza immagini catturate dai sensori e dalle telecamere integrate nei robot fisici. Queste immagini vengono continuamente trasmesse alla potente libreria di formazione di NeRF di Nerfstudio, consentendo la creazione di NeRF che si aggiornano costantemente e migliorano man mano che il robot cattura nuove immagini del suo ambiente circostante.

Per dimostrare il potenziale del loro metodo, Yu e i suoi colleghi lo hanno utilizzato per addestrare un NeRF basato su immagini catturate da una telecamera montata su un quadrotor, un drone con quattro rotori, mentre volava in ambienti sia interni che esterni. I loro risultati sono stati notevoli, evidenziando il valore di NerfBridge per facilitare l'uso di NeRF nella ricerca robotica.

Questo promettente metodo potrebbe presto essere utilizzato da altri ricercatori per addestrare NeRF e testare i loro algoritmi su robot fisici mentre navigano nel loro ambiente circostante. Nel frattempo, Yu e i suoi colleghi intendono esplorare ulteriori strategie che potrebbero ampliare l'uso di NeRF nella robotica.

'In definitiva, speriamo che NerfBridge riduca la barriera di accesso per altri ricercatori per iniziare a esaminare le applicazioni dei NeRF nella robotica, e per testare i loro nuovi algoritmi sui robot nel mondo reale', ha aggiunto Yu. 'Avanzando da NerfBridge, esamineremo i metodi per migliorare la formazione di NeRF quando le immagini vengono trasmesse da un robot e mostreremo i vantaggi concreti dell'uso di mappe basate su NeRF per altri compiti nella robotica come la localizzazione e la navigazione'.

© 2023 Science X Network