Un sistema di teleoperazione basato sulla visione artificiale che può essere applicato a diversi robot.

1 agosto 2023

Caratteristica

Questo articolo è stato revisionato secondo il processo editoriale e le politiche di Science X.

Gli editor hanno evidenziato i seguenti attributi garantendo così la credibilità dei contenuti:

• fact-checked
• preprint
• fonte affidabile
• corretto

a cura di Ingrid Fadelli, Tech Xplore

Recenti progressi nei campi della robotica e dell'intelligenza artificiale (AI) hanno aperto nuove e entusiasmanti possibilità per la teleoperazione, il controllo remoto di robot per completare compiti in una posizione distante. Questo potrebbe, ad esempio, consentire agli utenti di visitare musei da remoto, completare lavori di manutenzione o compiti tecnici in spazi di difficile accesso o partecipare a eventi in modo più interattivo.

La maggior parte dei sistemi di teleoperazione esistenti è progettata per essere utilizzata in contesti specifici e con un robot specifico. Ciò li rende difficili da applicare in diversi ambienti reali, limitandone notevolmente il potenziale.

Ricercatori di NVIDIA e dell'UC San Diego hanno recentemente creato AnyTeleop, un sistema di teleoperazione basato sulla visione artificiale che potrebbe essere applicato a una gamma più ampia di scenari. AnyTeleop, presentato in un articolo pubblicato in anteprima su arXiv, consente l'operazione remota di vari bracci e mani robotiche per affrontare diversi compiti manuali.

"Un obiettivo primario di NVIDIA è studiare come gli esseri umani possono insegnare ai robot a svolgere compiti", ha detto Dieter Fox, direttore senior della ricerca sulla robotica presso NVIDIA, responsabile del NVIDIA Robotics Research Lab, professore presso la University of Washington Paul G. Allen School of Computer Science & Engineering e responsabile del UW Robotics and State Estimation Lab, a Tech Xplore.

"Lavori precedenti si sono concentrati sulle modalità in cui un essere umano può teleoperare o guidare il robot, ma questo approccio presenta due ostacoli. Primo, addestrare un modello all'avanguardia richiede molte dimostrazioni. Secondo, le configurazioni solitamente richiedono un apparato costoso o sensori hardware e sono progettate solo per un particolare robot o ambiente di utilizzo", ha affermato Fox.

L'obiettivo principale del recente lavoro svolto da Fox e dai suoi colleghi era quello di creare un sistema di teleoperazione a basso costo, facile da implementare e che si adattasse bene a diversi compiti, ambienti e sistemi robotici. Per addestrare il loro sistema, i ricercatori hanno teleoperato sia robot virtuali in ambienti simulati sia robot reali in un ambiente fisico, riducendo così la necessità di acquistare e assemblare molti robot.

"AnyTeleop è un sistema di teleoperazione basato sulla visione che consente agli esseri umani di utilizzare le loro mani per controllare sistemi o bracci mano robot che abbiano dita abili", ha spiegato Fox. "Il sistema traccia i gesti della mano umana da una o più telecamere e li indirizza per controllare le dita di una mano robot multi-digitale. Il punto del polso viene utilizzato per controllare il movimento del braccio robot con un pianificatore di movimento con accelerazione CUDA".

A differenza della maggior parte degli altri sistemi di teleoperazione introdotti negli studi precedenti, AnyTeleop può essere interfacciato con diversi bracci robotici, mani robotiche, configurazioni di telecamere e diversi ambienti simulati o reali. Inoltre, può essere applicato sia a scenari in cui gli utenti sono vicini che a scenari distanti.

La piattaforma AnyTeleop può anche aiutare a raccogliere dati di dimostrazione umani (ad esempio, dati che rappresentano i movimenti e le azioni eseguiti dagli esseri umani durante l'esecuzione di compiti manuali specifici). Questi dati potrebbero a loro volta essere utilizzati per addestrare meglio i robot a completare autonomamente diversi compiti.

"La svolta fondamentale di AnyTeleop è il suo design generalizzabile e facile da implementare", ha detto Fox. "Una possibile applicazione è quella di implementare ambienti virtuali e robot virtuali nel cloud, consentendo agli utenti con computer e telecamere entry-level (come un iPhone o PC) di teleoperarli. Questo potrebbe rivoluzionare ultimamente il flusso di dati per i ricercatori e sviluppatori industriali che insegnano ai robot nuove abilità".

In test iniziali, AnyTeleop si è dimostrato migliore di un sistema di teleoperazione esistente progettato per un robot specifico, anche quando applicato a tale robot. Ciò ne sottolinea il valore come strumento per migliorare le applicazioni di teleoperazione.

NVIDIA presto rilascerà una versione open-source del sistema AnyTeleop, consentendo a team di ricerca di tutto il mondo di testarlo e applicarlo ai propri robot. In futuro, questa promettente nuova piattaforma potrebbe contribuire all'espansione dei sistemi di teleoperazione, facilitando anche la raccolta di dati di addestramento per i manipolatori robotici.

"Ora pianifichiamo di utilizzare i dati raccolti per esplorare ulteriormente l'apprendimento dei robot", ha aggiunto Fox. "Un focus notevole in futuro sarà come superare le differenze di dominio nel trasferimento dei modelli dei robot dalla simulazione al mondo reale".

© 2023 Science X Network