Robot Learning by observing human actions

Nowadays, robotics is entering in our life. One can see robot in industries, offices and even in homes. The more robots are in contact with people, the more requests of new capabilities and new features increase, in order to make robots able to act in case of need, help humans or be a companion. Therefore, it becomes essential to have a quick and easy way to teach new skills to robots. That is the aim of Robot Learning from Demonstration. This paradigm allows to directly program new tasks in a robot through demonstrations. This thesis proposes a novel approach to Robot Learning from Demonstration able to learn new skills from natural demonstrations carried out from naive users. To this aim, we introduce a novel Robot Learning from Demonstration framework by proposing novel approaches in all functional sub-units: from data acquisition to motion elaboration, from information modeling to robot control. A novel method is explained to extract 3D motion flow information from both RGB and depth data acquired by using recently introduced consumer RGB-D cameras. The motion data are computed over the time to recognize and classify human actions. In this thesis, we describe new techniques to remap human motion to robotic joints. Our methods allow people to natural interact with robots by re-targeting the whole body movements in an intuitive way. We develop algorithm for both humanoids and manipulators motion and test them in different situations. Finally, we improve modeling techniques by using a probabilistic method: the Donut Mixture Model. This model is able to manage several interpretations that different people can produce performing a task. The estimated model can also be updated directly by using new attempts carried out by the robot. This feature is very important to rapidly obtain correct robot trajectories by means of few human demonstrations. A further contribution of this thesis is the creation of a number of new virtual models for the different robots we used to test our algorithms. All the developed models are compliant with ROS, so they can be used to foster research in the field from all the community of this very diffuse robotics framework. Moreover, a new 3D dataset is collected to compare different action recognition algorithms. The dataset contains both RGB-D information coming directly from the sensor and skeleton data provided by a skeleton tracker.

La robotica sta ormai entrando nella nostra vita. Si possono trovare robot nelle industrie, negli uffici e perfino nelle case. Più i robot sono in contatto con le persone, più aumenta la richiesta di nuove funzionalità e caratteristiche per rendere i robot capaci di agire in caso di necessità, aiutare la gente o di essere di compagnia. Perciò è essenziale avere un modo rapido e facile di insegnare ai robot nuove abilità e questo è proprio l'obiettivo del Robot Learning from Demonstration. Questo paradigma consente di programmare nuovi task in un robot attraverso l'uso di dimostrazioni. Questa tesi propone un nuovo approccio al Robot Learning from Demonstration in grado di apprendere nuove abilità da dimostrazioni eseguite naturalmente da utenti inesperti. A questo scopo, è stato introdotto un innovativo framework per il Robot Learning from Demonstration proponendo nuovi approcci in tutte le sub-unità funzionali: dall'acquisizione dei dati all’elaborazione del movimento, dalla modellazione delle informazioni al controllo del robot. All’interno di questo lavoro è stato proposto un nuovo metodo per estrarre l’ informazione del flusso ottico 3D, combinando dati RGB e di profondità acquisiti tramite telecamere RGB-D introdotte di recente nel mercato consumer. Questo algoritmo calcola i dati di movimento lungo il tempo per riconoscere e classificare le azioni umane. In questa tesi, sono descritte nuove tecniche per rimappare il movimento umano alle articolazioni robotiche. I metodi proposti permettono alle persone di interagire in modo naturale con i robot effettuando un re-targeting intuitivo di tutti i movimenti del corpo. È stato sviluppato un algoritmo di re-targeting del movimento sia per robot umanoidi che per manipolatori, testando entrambi in diverse situazioni. Infine, sono state migliorate le tecniche di modellazione utilizzando un metodo probabilistico: il Donut Mixture Model. Questo modello è in grado di gestire le numerose interpretazioni che persone diverse possono produrre eseguendo un compito. Inoltre, il modello stimato può essere aggiornato utilizzando direttamente tentativi effettuati dal robot. Questa caratteristica è molto importante per ottenere rapidamente traiettorie robot corrette, mediante l’uso di poche dimostrazioni umane. Un ulteriore contributo di questa tesi è la creazione di una serie di nuovi modelli virtuali per i diversi robot utilizzati per testare i nostri algoritmi. Tutti i modelli sviluppati sono compatibili con ROS, in modo che possano essere utilizzati da tutta la comunità di questo framework per la robotica molto diffuso per promuovere la ricerca nel campo. Inoltre, è stato raccolto un nuovo dataset 3D al fine di confrontare diversi algoritmi di riconoscimento delle azioni, il dataset contiene sia informazioni RGB-D provenienti direttamente dal sensore che informazioni sullo scheletro fornite da uno skeleton tracker.