Processi Gaussiani per Modellizzazione e Controllo Data-Driven in Applicazioni Robotiche

Over the last years, the domain of robotics is no longer restricted to the mere industrial world and is expanding at great speed into always more aspects of human life. In order to successfully operate in a huge variety of contexts, the next generation of robots must become always more autonomous and adaptable. In this context, the application of Machine Learning and Reinforcement Learning techniques turns out to be a promising way to deal with challenges that involve a large-scale and pervasive deployment of robotic systems. Data-driven methods have the potential to equip the robots with the instruments to cope with the uncertainty that characterizes the unstructured environments where they will be increasingly employed. With this regard, Gaussian Processes established themselves as a very powerful and flexible Machine Learning tool. They can be used to solve complex regression problems and directly estimate predictions’ uncertainty. In this thesis, we present Gaussian process-based solutions to different modeling and control problems. In particular, we developed a novel Model-Based Reinforcement Learning algorithm, called Monte Carlo Probabilistic Inference for Learning COntrol (MC-PILCO), that can autonomously learn how to perform a certain task, focusing on applications to mechanical systems. In addition, we proposed an alternative version of MC-PILCO that can handle the presence of partial state measures, a typical condition in real-world applications. Furthermore, we proposed a data-driven torque control strategy for robotic systems that exploits Gaussian Process Regression for estimating the robot inverse dynamics. This model is used to close a feedback linearization control loop. Finally, we explored Gaussian Processes’ modeling potential working on high-dimensional dynamics. We used Gaussian Processes to learn a map that projects high-dimensional observations to a latent space of inferior dimension. Then, Gaussian Processes were also employed to estimate a proper transition function inside the latent space that can take into account the effects of control actions. We called the overall structure Controlled Gaussian Process Latent Variable Model (CGPDM), and we used it to model the dynamics of a piece of cloth handled by a robotic system. In each of the studied problems, our solutions have been evaluated empirically using real and simulated data.

Negli ultimi anni, il campo d’azione della robotica non si limita più alla sola industria, ma si sta espandendo in sempre più aspetti della vita umana. Per operare con successo in questa grande varietà di contesti, la prossima generazione di robot dovrà diventare sempre più autonoma e pronta ad adattarsi a diversi scenari. In tale contesto, le tecniche di Machine Learning e Reinforcement Learning possono fornire degli strumenti importanti per affrontare le sfide che coinvolgono una diffusione su larga scala dei sistemi robotici. Questi metodi data-driven potranno, potenzialmente, dotare i robot dei mezzi per gestire l’incertezza che caratterizza gli ambienti non strutturati nei quali verranno impiegati. A tale riguardo, i Gaussian Process si sono affermati come una tecnica di Machine Learning molto potente e flessibile. Essi possono essere utilizzati per risolvere complessi problemi di regressione, fornendo direttamente una stima dell’incertezza associata alle previsioni. In questa tesi, presentiamo soluzioni basate su Gaussian Process per diversi problemi di modellazione e controllo. In particolare, abbiamo sviluppato un nuovo algoritmo Model- Based Reinforcement Learning, chiamato Monte Carlo Probabilistic Inference for Learning COntrol (MC-PILCO), che può imparare autonomamente come eseguire un dato compito. L’algoritmo è stato poi modificato in modo tale da essere capace di gestire la presenza di misure parziali dello stato, condizione comune quando si lavora su sistemi meccanici. La tesi prosegue presentando una strategia di controllo data-driven per sistemi robotici, che utilizza dei Gaussian Process per stimare la dinamica inversa, utilizzandola poi all’interno di uno schema di controllo basato su feedback linearization. Infine, concludiamo esplorando le possibilità offerte dai Gaussian Process per la modellizzazione di dinamiche ad alta dimensionalità. Dei Gaussian Process sono stati impiegati sia per imparare una mappa che proietta le osservazioni ad alta dimensione in uno spazio latente di dimensione ridotta, che per stimare una funzione di transizione appropriata all’interno di questo spazio latente. Abbiamo chiamato il modello complessivo Controlled Gaussian Process Latent Variable Model (CGPDM), e lo abbiamo utilizzato per modellare la dinamica di un pezzo di tessuto manipolato da un robot. In ciascuno dei problemi studiati, le nostre soluzioni sono state valutate empiricamente usando dati reali e simulati.