Un nouveau cadre permet aux robots d'apprendre grâce à des vidéos de démonstration humaine en ligne

19 juillet 2024

Cet article a été examiné selon le processus éditorial et les politiques de Science X. Les éditeurs ont mis en évidence les attributs suivants tout en garantissant la crédibilité du contenu :

• vérifié par des faits
• préimpression
• source de confiance
• corrigé

par Ingrid Fadelli, Tech Xplore

Pour être déployés avec succès dans des environnements réels, les robots doivent être capables d'accomplir de manière fiable diverses tâches quotidiennes, allant des tâches ménagères aux processus industriels. Certaines des tâches qu'ils pourraient accomplir incluent la manipulation de tissus, par exemple lorsque l'on plie des vêtements pour les ranger dans une armoire ou lorsque l'on aide les adultes plus âgés souffrant de troubles de la mobilité à nouer leur cravate avant un événement social.

Le développement de robots capables de relever efficacement ces défis s'est avéré jusqu'à présent assez difficile. De nombreuses approches proposées pour former les robots aux tâches de manipulation de tissus reposent sur l'apprentissage par imitation, une technique pour former le contrôle des robots à l'aide de vidéos, de captures de mouvement et d'autres données montrant des humains accomplir les tâches d'intérêt.

Alors que certaines de ces techniques ont donné des résultats encourageants, pour bien performer, elles nécessitent généralement des quantités substantielles de données de démonstration humaine. Ces données peuvent être coûteuses et difficiles à collecter, tandis que les ensembles de données open-source existants ne contiennent pas toujours autant de données que ceux destinés à l'entraînement d'autres techniques informatiques, telles que la vision par ordinateur ou les modèles d'IA générative.

Des chercheurs de l'Université nationale de Singapour, de l'Université Jiaotong de Shanghai et de l'Université de Nankin ont récemment présenté une approche alternative qui pourrait améliorer et simplifier la formation des algorithmes robotiques via des démonstrations humaines. Cette approche, décrite dans un article pré-publié sur arXiv, vise à exploiter certaines des nombreuses vidéos publiées en ligne chaque jour, les utilisant comme démonstrations humaines de tâches quotidiennes.

"Ce travail commence avec une idée simple, celle de mettre en place un système qui permet aux robots d'utiliser les innombrables vidéos de démonstration humaine en ligne pour apprendre des compétences de manipulation complexes", a déclaré Weikun Peng, co-auteur de l'article, à Tech Xplore. "En d'autres termes, étant donnée une vidéo de démonstration humaine arbitraire, nous voulions que le robot accomplisse la même tâche montrée dans la vidéo."

Alors que des études précédentes ont également introduit des techniques d'apprentissage par imitation basées sur des vidéos, elles utilisaient des vidéos spécifiques au domaine (c'est-à-dire des vidéos montrant des humains accomplissant des tâches spécifiques dans le même environnement dans lequel le robot devrait ensuite relever le défi), par opposition à des vidéos arbitraires collectées dans n'importe quel environnement ou contexte.

Le cadre développé par Peng et ses collègues, en revanche, est conçu pour permettre l'apprentissage par imitation des robots à partir de vidéos de démonstration arbitraires trouvées en ligne.

L'approche de l'équipe comporte trois composantes principales, appelées Real2Sim, Learn@Sim et Sim2Real. Le premier de ces composants est la partie centrale et la plus importante du cadre.

"Real2Sim suit le mouvement de l'objet dans la vidéo de démonstration et reproduit le même mouvement sur un modèle en maille dans une simulation", a expliqué Peng. "En d'autres termes, nous essayons de reproduire la démonstration humaine dans la simulation. Enfin, nous obtenons une séquence de maillages d'objets, représentant la trajectoire réelle de l'objet."

L'approche des chercheurs utilise des maillages (c'est-à-dire des représentations numériques précises de la géométrie, de la forme et de la dynamique d'un objet) en tant que représentations intermédiaires. Après que le composant Real2Sim a reproduit une démonstration humaine dans un environnement simulé, le deuxième composant du cadre, appelé Learn@Sim, apprend les points de préhension et de placement qui permettraient à un robot d'effectuer les mêmes actions via l'apprentissage par renforcement.

"Après avoir appris les points de préhension et de placement dans la simulation, nous avons déployé la politique sur un vrai robot à double bras, qui est la troisième étape de notre pipeline (c'est-à-dire Sim2Real)", a déclaré Peng. "Nous avons entraîné une politique résiduelle pour atténuer l'écart Sim2Real."

Les chercheurs ont évalué leur approche proposée dans une série de tests, en se concentrant spécifiquement sur la tâche de nouer une cravate. Alors que cette tâche peut être extrêmement difficile pour les robots, l'approche de l'équipe a permis à un manipulateur robotique de la compléter avec succès.

"Il est important de noter que de nombreux travaux antérieurs requièrent des vidéos de démonstration 'dans le domaine', ce qui signifie que le cadre des vidéos de démonstration doit être le même que celui de l'environnement d'exécution du robot", a déclaré Peng. "Notre méthode, d'autre part, peut apprendre à partir de vidéos de démonstration 'hors du domaine', car nous extrayons le mouvement de l'objet dans l'espace 3D à partir de la vidéo de démonstration."

In the future, the new approach introduced by Peng and his colleagues could be applied to other complex and challenging robot manipulation tasks. Ultimately, it could facilitate the training of robots via imitation learning, potentially enabling new advancements in their skills.

'My plan for future work would be to expand the Real-Sim-Real idea to other tasks,' Peng added.