The capability of having human and robots cooperating together has increased the interest in the control of robotic devices by means of physiological human signals. In order to achieve this goal it is crucial to be able to catch the human intention of movement and to translate it in a coherent robot action. Up to now, the classical approach when considering physiological signals, and in particular EMG signals, is to focus on the specific subject performing the task since the great complexity of these signals. This thesis aims to expand the state of the art by proposing a general subject-independent framework, able to extract the common constraints of human movement by looking at several demonstration by many different subjects. The variability introduced in the system by multiple demonstrations from many different subjects allows the construction of a robust model of human movement, able to face small variations and signal deterioration. Furthermore, the obtained framework could be used by any subject with no need for long training sessions. The signals undergo to an accurate preprocessing phase, in order to remove noise and artefacts. Following this procedure, we are able to extract significant information to be used in online processes. The human movement can be estimated by using well-established statistical methods in Robot Programming by Demonstration applications, in particular the input can be modelled by using a Gaussian Mixture Model (GMM). The performed movement can be continuously estimated with a Gaussian Mixture Regression (GMR) technique, or it can be identified among a set of possible movements with a Gaussian Mixture Classification (GMC) approach. We improved the results by incorporating some previous information in the model, in order to enriching the knowledge of the system. In particular we considered the hierarchical information provided by a quantitative taxonomy of hand grasps. Thus, we developed the first quantitative taxonomy of hand grasps considering both muscular and kinematic information from 40 subjects. The results proved the feasibility of a subject-independent framework, even by considering physiological signals, like EMG, from a wide number of participants. The proposed solution has been used in two different kinds of applications: (I) for the control of prosthesis devices, and (II) in an Industry 4.0 facility, in order to allow human and robot to work alongside or to cooperate. Indeed, a crucial aspect for making human and robots working together is their mutual knowledge and anticipation of other’s task, and physiological signals are capable to provide a signal even before the movement is started. In this thesis we proposed also an application of Robot Programming by Demonstration in a real industrial facility, in order to optimize the production of electric motor coils. The task was part of the European Robotic Challenge (EuRoC), and the goal was divided in phases of increasing complexity. This solution exploits Machine Learning algorithms, like GMM, and the robustness was assured by considering demonstration of the task from many subjects. We have been able to apply an advanced research topic to a real factory, achieving promising results.

La possibilità di collaborazione tra robot ed esseri umani ha fatto crescere l’interesse nello sviluppo di tecniche per il controllo di dispositivi robotici attraverso segnali fisiologici provenienti dal corpo umano. Per poter ottenere questo obiettivo è essenziale essere in grado di cogliere l’intenzione di movimento da parte dell’essere umano e di tradurla in un relativo movimento del robot. Fin’ora, quando si consideravano segnali fisiologici, ed in particolare segnali EMG, il classico approccio era quello di concentrarsi sul singolo soggetto che svolgeva il task, a causa della notevole complessità di questo tipo di dati. Lo scopo di questa tesi è quello di espandere lo stato dell’arte proponendo un framework generico ed indipendente dal soggetto, in grado di estrarre le caratteristiche del movimento umano osservando diverse dimostrazioni svolte da un gran numero di soggetti differenti. La variabilità introdotta nel sistema dai diversi soggetti e dalle diverse ripetizioni del task permette la costruzione di un modello del movimento umano, robusto a piccole variazioni e a un possibile deterioramento del segnale. Inoltre, il framework ottenuto può essere utilizzato da ogni soggetto senza che debba sottoporsi a lunghe sessioni di allenamento. I segnali verranno sottoposti ad un’accurata fase di reprocessing per rimuovere rumore ed artefatti, seguendo questo procedimento sarà possibile estrarre dell’informazione significativa che verrà utilizzata per elaborare il segnale online. Il movimento umano può essere stimato utilizzando tecniche statistiche molto diffuse in applicazioni di Robot Programming by Demonstration, in particolare l’informazione in input può essere rappresentata utilizzando il Gaussian Mixture Model (GMM). Il movimento svolto dal soggetto può venire stimato in maniera continua con delle tecniche di regressione, come il Gaussian Mixture Regression (GMR), oppure può venire scelto tra un insieme di possibili movimenti con delle tecniche di classificazione, come il Gaussian Mixture Classification (GMC). I risultati sono stati migliorati incorporando nel modello dell’informazione a priori, in modo da arricchirlo. In particolare, è stata considerata l’informazione gerarchica fornita da una tassonomia quantitativa dei movimenti di presa della mano. E’ stata anche realizzata la prima tassonomia quantitativa delle prese della mano considerando l’informazione sia muscolare che cinematica proveniente da 40 soggetti. I risultati ottenuti hanno dimostrato la possibilità di realizzare un framework indipendente dal soggetto anche utilizzando segnali fisiologici come gli EMG provenienti da un grande numero di partecipanti. La soluzione proposta è stata utilizzata in due tipi diversi di applicazioni: (I) per il controllo di dispositivi prostetici, e (II) in una soluzione per l’Industria 4.0, con l’obiettivo di consentire a uomini e robot di lavorare assieme o di collaborare. Infatti, unaspetto cruciale perché uomini e robot possano lavorare assieme è che siano in grado di anticipare uno il task dell’altro e i segnali fisiologici riescono a fornire un segnale prima che avvenga l’effettivo movimento. In questa tesi è stata proposta anche un’applicazione di Robot Programming by Demonstration in una vera fabbrica che si occupa di realizzare motori elettrici, con lo scopo di ottimizzarne la produzione. Il task faceva parte della European Robotic Challenge (EuRoC) in cui l’obiettivo finale era diviso in fasi di complessità crescente. La soluzione proposta impiega tecniche di Machine Learning, come il GMM, mentre la robustezza dell’approccio è assicurata dalla considerazione di dimostrazioni da parte di molti soggetti diversi. Il sistema è stato testato in un contesto industriale ottenendo risultati promettenti.

Subject-Independent Frameworks for Robotic Devices: Applying Robot Learning to EMG Signals / Stival, Francesca. - (2018 Nov 30).

Subject-Independent Frameworks for Robotic Devices: Applying Robot Learning to EMG Signals

Stival, Francesca
2018

Abstract

The capability of having human and robots cooperating together has increased the interest in the control of robotic devices by means of physiological human signals. In order to achieve this goal it is crucial to be able to catch the human intention of movement and to translate it in a coherent robot action. Up to now, the classical approach when considering physiological signals, and in particular EMG signals, is to focus on the specific subject performing the task since the great complexity of these signals. This thesis aims to expand the state of the art by proposing a general subject-independent framework, able to extract the common constraints of human movement by looking at several demonstration by many different subjects. The variability introduced in the system by multiple demonstrations from many different subjects allows the construction of a robust model of human movement, able to face small variations and signal deterioration. Furthermore, the obtained framework could be used by any subject with no need for long training sessions. The signals undergo to an accurate preprocessing phase, in order to remove noise and artefacts. Following this procedure, we are able to extract significant information to be used in online processes. The human movement can be estimated by using well-established statistical methods in Robot Programming by Demonstration applications, in particular the input can be modelled by using a Gaussian Mixture Model (GMM). The performed movement can be continuously estimated with a Gaussian Mixture Regression (GMR) technique, or it can be identified among a set of possible movements with a Gaussian Mixture Classification (GMC) approach. We improved the results by incorporating some previous information in the model, in order to enriching the knowledge of the system. In particular we considered the hierarchical information provided by a quantitative taxonomy of hand grasps. Thus, we developed the first quantitative taxonomy of hand grasps considering both muscular and kinematic information from 40 subjects. The results proved the feasibility of a subject-independent framework, even by considering physiological signals, like EMG, from a wide number of participants. The proposed solution has been used in two different kinds of applications: (I) for the control of prosthesis devices, and (II) in an Industry 4.0 facility, in order to allow human and robot to work alongside or to cooperate. Indeed, a crucial aspect for making human and robots working together is their mutual knowledge and anticipation of other’s task, and physiological signals are capable to provide a signal even before the movement is started. In this thesis we proposed also an application of Robot Programming by Demonstration in a real industrial facility, in order to optimize the production of electric motor coils. The task was part of the European Robotic Challenge (EuRoC), and the goal was divided in phases of increasing complexity. This solution exploits Machine Learning algorithms, like GMM, and the robustness was assured by considering demonstration of the task from many subjects. We have been able to apply an advanced research topic to a real factory, achieving promising results.
La possibilità di collaborazione tra robot ed esseri umani ha fatto crescere l’interesse nello sviluppo di tecniche per il controllo di dispositivi robotici attraverso segnali fisiologici provenienti dal corpo umano. Per poter ottenere questo obiettivo è essenziale essere in grado di cogliere l’intenzione di movimento da parte dell’essere umano e di tradurla in un relativo movimento del robot. Fin’ora, quando si consideravano segnali fisiologici, ed in particolare segnali EMG, il classico approccio era quello di concentrarsi sul singolo soggetto che svolgeva il task, a causa della notevole complessità di questo tipo di dati. Lo scopo di questa tesi è quello di espandere lo stato dell’arte proponendo un framework generico ed indipendente dal soggetto, in grado di estrarre le caratteristiche del movimento umano osservando diverse dimostrazioni svolte da un gran numero di soggetti differenti. La variabilità introdotta nel sistema dai diversi soggetti e dalle diverse ripetizioni del task permette la costruzione di un modello del movimento umano, robusto a piccole variazioni e a un possibile deterioramento del segnale. Inoltre, il framework ottenuto può essere utilizzato da ogni soggetto senza che debba sottoporsi a lunghe sessioni di allenamento. I segnali verranno sottoposti ad un’accurata fase di reprocessing per rimuovere rumore ed artefatti, seguendo questo procedimento sarà possibile estrarre dell’informazione significativa che verrà utilizzata per elaborare il segnale online. Il movimento umano può essere stimato utilizzando tecniche statistiche molto diffuse in applicazioni di Robot Programming by Demonstration, in particolare l’informazione in input può essere rappresentata utilizzando il Gaussian Mixture Model (GMM). Il movimento svolto dal soggetto può venire stimato in maniera continua con delle tecniche di regressione, come il Gaussian Mixture Regression (GMR), oppure può venire scelto tra un insieme di possibili movimenti con delle tecniche di classificazione, come il Gaussian Mixture Classification (GMC). I risultati sono stati migliorati incorporando nel modello dell’informazione a priori, in modo da arricchirlo. In particolare, è stata considerata l’informazione gerarchica fornita da una tassonomia quantitativa dei movimenti di presa della mano. E’ stata anche realizzata la prima tassonomia quantitativa delle prese della mano considerando l’informazione sia muscolare che cinematica proveniente da 40 soggetti. I risultati ottenuti hanno dimostrato la possibilità di realizzare un framework indipendente dal soggetto anche utilizzando segnali fisiologici come gli EMG provenienti da un grande numero di partecipanti. La soluzione proposta è stata utilizzata in due tipi diversi di applicazioni: (I) per il controllo di dispositivi prostetici, e (II) in una soluzione per l’Industria 4.0, con l’obiettivo di consentire a uomini e robot di lavorare assieme o di collaborare. Infatti, unaspetto cruciale perché uomini e robot possano lavorare assieme è che siano in grado di anticipare uno il task dell’altro e i segnali fisiologici riescono a fornire un segnale prima che avvenga l’effettivo movimento. In questa tesi è stata proposta anche un’applicazione di Robot Programming by Demonstration in una vera fabbrica che si occupa di realizzare motori elettrici, con lo scopo di ottimizzarne la produzione. Il task faceva parte della European Robotic Challenge (EuRoC) in cui l’obiettivo finale era diviso in fasi di complessità crescente. La soluzione proposta impiega tecniche di Machine Learning, come il GMM, mentre la robustezza dell’approccio è assicurata dalla considerazione di dimostrazioni da parte di molti soggetti diversi. Il sistema è stato testato in un contesto industriale ottenendo risultati promettenti.
Subject-Independence, Physiological Signals, EMG Signals, Quantitative Taxonomy of Hand Grasps, Human-Robot Interaction (HRI), Robot Programming by Demonstration (RPbD)
Subject-Independent Frameworks for Robotic Devices: Applying Robot Learning to EMG Signals / Stival, Francesca. - (2018 Nov 30).
File in questo prodotto:
File Dimensione Formato  
stival_francesca_tesi.pdf

accesso aperto

Tipologia: Tesi di dottorato
Licenza: Non specificato
Dimensione 31.55 MB
Formato Adobe PDF
31.55 MB Adobe PDF Visualizza/Apri
Pubblicazioni consigliate

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11577/3426704
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact