A multilevel framework to measure, model, promote, and enhance the symbiotic cooperation between humans and robotic devices

In the latest decades, the common perception about the role of robotic devices in the modern society dramatically changed. In the early stages of robotics, temporally located in the years of the economic boom, the development of new devices was driven by the industrial need of producing more while reducing production time and costs. The demand was, therefore, for robotic devices capable of substituting the humans in performing simple and repetitive activities. The execution of predefined basic activities in the shortest amount of time, inside carefully engineered and confined environments, was the mission of robotic devices. Beside the results obtained in the industrial sector, a progressive widening of the fields interested in robotics – such as rehabilitation, elderly care, and medicine – led to the current vision of the device role. Indeed, these challenging fields require the robot to be a partner, which works side-by-side with the human. Therefore, the device needs to be capable of actively and efficiently interacting with humans, to provide support and overcome their limits in the execution of shared activities, even in highly unpredictable everyday environments. Highly complex and advanced robots, such as surgical robots, rehabilitation devices, flexible manipulators, and service and companion robots, have been recently introduced into the market; despite their complexity, however, they are still tools to be used to perform, better or faster, very specific tasks. The current open challenge is, therefore, to develop a new generation of symbiotically cooperative robotic partners, adding to the devices the capability to detect, understand, and adapt to the real intentions, capabilities, and needs of the humans. To achieve this goal, a bidirectional information channel shall be built to connect the human and the device. In one direction, the device requires to be informed about the state of its user; in the other direction, the human needs to be informed about the state of the whole interacting system. This work reports the research activities that I conducted during my PhD studies in this research direction. Those activities led to the design, development, and assessment on a real application of an innovative multilevel framework to close the cooperation loop between a human and a robotic device, thus promoting and enhancing their symbiotic interaction. Three main levels have been identified as core elements to close this loop: the measure level, the model level, and the extract/synthesize level. The former aims at collecting experimental measures from the whole interacting system; the second aims at estimating and predicting its dynamic behavior; the last aims at providing quantitative information to both the human and the device about their performances and about how to modify their behavior to improve their interaction symbiosis. Within the measure level, the focus has been concentrated on investigating, critically comparing, and selecting the most suitable and advanced technologies to measure kinematics and dynamics quantities in a portable and minimally intrusive way. Particular attention has been paid to new emerging technologies; moreover, useful protocols and pipelines already recognized as de-facto in other fields have been successfully adapted to fit the needs of the man-machine interaction context. Finally, the design of a new sensor has been started to overcome the lack of tools capable of effectively measuring human-device interaction forces. To implement the model level, a common platform to perform integrated multilevel simulations – i.e. simulations where the device and the human are considered together as interacting entities – has been selected and extensively validated. Furthermore, critical aspects characterizing the modeling of the device, the human, and their interactions have been studied and possible solutions have been proposed. For example, modeling the mechanics and the control within the selected software platform allowed accurate estimations of their behavior. To estimate human behavior, new methodologies and approaches based on anatomical neuromusculoskeletal models have been developed, validated, and released as open-source tools for the community, to allow accurate estimates of both kinematics and dynamics at run-time – i.e. at the same time that the movements are performed. An inverse kinematics approach has been developed and validated to estimate human joint angles from the orientation measurements provided by wearable inertial systems. Additionally, a state of the art neuromusculoskeletal modeling toolbox has been improved and interfaced with the other tools of the multilevel framework, to accurately predict human muscle forces, joint moments, and muscle and joint stiffness from electromyographic and kinematic measures. To estimate and predict the interactions, contact models, parameters optimization procedures, and high-level cooperation strategies have been investigated, developed, and applied. Within the extract/synthesize level, the information provided by the other levels has been combined together to develop informative feedbacks for both the device and the human. In one direction, the device has been provided with control signals defining how to adjust the provided support to comply with the task goals and with the human current capabilities and needs. In the other direction, quantitative feedbacks have been developed to inform the human about task execution performances, task targets, and support provided by the device. This information has been provided to the user as visual feedbacks designed to be both exhaustively informative and minimally distractive, to prevent possible loss of focus. Moreover, additional feedbacks have been devised to help external observers – therapists in the rehabilitation contexts or task planners and ergonomists in the industrial field – in the design and refinement of effective personalized tasks and long-term goals. The integration of all the hardware and software tools of each level in a modular, flexible, and reliable software framework, based on a well known robotic middleware, has been fundamental to handle the communication and information exchange processes. The developed general framework has been finally specialized to face the specific needs of robotic-aided gait rehabilitation. In this context, indeed, the final aim of promoting the symbiotic cooperation is translatable in maximizing treatment effectiveness for the patients by actively supporting their changing needs and capabilities while keeping them engaged during the whole rehabilitation process. The proposed multilevel framework specialization has been successfully used, as valuable answer to those needs, within the context of the Biomot European project. It has been, indeed, fundamental to face the challenges of closing the informative loop between the user and the device, and providing valuable quantitative information to the external observers. Within this research project, we developed an innovative compliant wearable exoskeleton prototype for gait rehabilitation capable of adjusting, at run-time, the provided support according to different cooperation strategies and to user needs and capabilities. At the same time, the wearer is also engaged in the rehabilitation process by intuitive visual feedbacks about his performances in the achievement of the rehabilitation targets and about the exoskeleton support. Both researchers and clinical experts evaluating the final rehabilitation application of the multilevel framework provided enthusiastic feedbacks about the proposed solutions and the obtained results. To conclude, the modular and generic multilevel framework developed in this thesis has the potential to push forward the current state of the art in the applications where a symbiotic cooperation between robotic devices and humans is required. Indeed, it effectively endorses the development of a new generation of robotic devices capable to perform challenging cooperative tasks in highly unpredictable environments while complying with the current needs, intentions, and capabilities of the human.

Negli ultimi anni si è assistito a un radicale cambiamento negli obiettivi della ricerca robotica.
Agli albori della robotica moderna, storicamente collocati nel contesto del boom economico, lo sviluppo dei dispositivi robotici era guidato dall’esigenza industriale di ridurre tempi e costi di produzione per ottenere quantitativi sempre maggiori. Spesso questo coincideva con l’esigenza di sviluppare dispositivi robotici per sostituire gli uomini nello svolgimento di mansioni semplici e ripetitive. Questa esigenza portava poi alla progettazione di ambienti dedicati intorno ai sistemi robotici. Più recentemente vi è stato un progressivo interesse verso la robotica di nuovi settori quali la riabilitazione, l’assistenza agli anziani, la chirurgia. In questi ambiti il ruolo del dispositivo cambia radicalmente: non è più solo uno strumento da utilizzare, ma diventa un partner con cui lavorare fianco a fianco. Pertanto, il dispositivo deve essere capace di cooperare attivamente ed efficacemente con le persone, comprendendone le esigenze ed aiutandole al fine di ottenere obiettivi condivisi in ambienti non strutturati come quelli in cui quotidianamente ci muoviamo. Lo stato attuale del mercato vede robot utilizzati in diversi campi di applicazione, come robot chirurgici, dispositivi riabilitativi, manipolatori flessibili e robot di servizio e assistenziali ma essi sono ancora spesso semplici strumenti per svolgere specifici compiti. L’attuale sfida aperta è pertanto quella di sviluppare una nuova generazione di robot che sappiano invece essere partner, cooperando in simbiosi con l’uomo. In altre parole, l’obiettivo di ricerca è quello di fornire ai dispositivi robotici la capacità di rilevare, comprendere ed adattarsi alle reali intenzioni, capacità ed esigenze degli esseri umani. Questa cooperazione simbiotica richiede uno scambio bidirezionale di informazioni tra l’uomo e il dispositivo. Da un lato, il dispositivo necessita di essere informato circa le necessità, le capacità e le intenzioni dell’essere umano. Dall’altro lato, l’uomo deve essere informato circa il proprio stato e le intenzioni del dispositivo con cui sta cooperando. Da tali considerazioni, tuttavia, emerge chiaramente la necessità di attingere ed integrare i contributi forniti dalla ricerca della comunità biomeccanica. Questi obiettivi sono quelli che hanno guidato le attività condotte durante il periodo di studio del mio dottorato e che sono riportate, insieme ai risultati ottenuti, in questo elaborato. Tali attività hanno portato a progettare, sviluppare e realizzare un nuovo framework multilivello volto a chiudere l’anello di cooperazione tra essere umano e dispositivo robotico, di fatto promuovendo la loro interazione simbiotica. Al fine di raggiungere tale obbiettivo, sono stati identificati tre livelli principali all’interno del framework multilivello: il livello di misura, il livello di modellazione ed il livello di estrazione/sintesi delle informazioni. Il primo mira a raccogliere misure sperimentali dall’intero sistema cooperante; il secondo a stimare e prevedere il suo comportamento dinamico; l’ultimo a fornire informazioni quantitative sia all’uomo che al dispositivo in merito alle loro prestazioni e a come modificare il loro comportamento per migliorare la loro simbiosi. Nell’ambito del livello di misura, l’attenzione si è concentrata sull’analisi, sul confronto critico e sulla scelta di tecnologie indossabili e minimamente invasive per misurare al meglio la cinematica e la dinamica. Inoltre, protocolli e procedure già sviluppati e riconosciuti come standard de-facto in altri campi sono stati adattati con successo alle esigenze del contesto dell’interazione uomo-macchina. Infine, è stata avviata la progettazione di un nuovo sensore per colmare la mancanza di strumenti in grado di misurare efficacemente le forze emergenti dall’interazione dinamica tra uomo e dispositivo robotico indossabile. In tale contesto, infatti, gli attuali dispositivi di misura non risultano essere utilizzabili senza interferire con l’interazione stessa. Al fine di realizzare il livello di modellazione, è stata innanzitutto selezionata ed ampiamente validata una piattaforma software che fosse in grado di eseguire simulazioni integrate multilivello, cioè simulazioni in cui il dispositivo e l’uomo sono considerati contemporaneamente come entità interagenti. Inoltre, sono stati studiati gli aspetti critici che caratterizzano la modellazione del dispositivo, dell’umano e delle loro interazioni e sono state proposte possibili soluzioni per affrontarli. Ad esempio, la modellazione della meccanica e dei sistemi di controllo dei dispositivi, realizzata attraverso gli strumenti messi a disposizione dalla piattaforma software selezionata, ha permesso di ottenere stime accurate del loro comportamento dinamico. Per stimare il comportamento umano, invece, sono state sviluppate, validate e rilasciate come strumenti open-source alla comunità scientifica nuove metodologie e nuovi approcci basati su modelli anatomici neuromuscoloscheletrici. Tale lavoro ha consentito di ottenere stime accurate sia della cinematica che della dinamica in tempo reale, cioè nello stesso istante in cui i movimenti vengono eseguiti. Al fine di stimare la cinematica articolare dell’uomo, nel corso del mio dottorato ho sviluppato e convalidato un approccio di cinematica inversa basato su un modello muscoloscheletrico anatomicamente attendibile, che utilizza come input le misure di orientazione fornite dai sistemi inerziali indossabili. Inoltre, lo strumento di modellazione neuromuscoloscheletrica che rappresenta l’attuale stato dell’arte in ambito biomeccanico è stato migliorato ed interfacciato con gli altri strumenti del framework multilivello. Il lavoro svolto ha consentito di prevedere con precisione ed in tempo reale le forze muscolari, le coppie articolari, e la rigidità muscolare ed articolare dell’essere umano a partire da misure elettromiografiche e cinematiche. Per stimare e prevedere le interazioni, infine, sono stati studiati, sviluppati ed applicati modelli di contatto, procedure di ottimizzazione dei parametri e strategie di cooperazione ad alto livello volte ad incrementare la simbiosi tra essere umano e dispositivo robotico. Nell’ambito del livello di estrazione/sintesi delle informazioni, le misure e le stime ottenute attraverso gli strumenti realizzati negli altri livelli sono state combinate per ottenere accurati feedback quantitativi sia per il dispositivo che per le persone. Da un lato, al dispositivo sono stati forniti segnali di controllo volti a modulare il supporto al fine di soddisfare al meglio gli obiettivi dell’attività in corso di svolgimento, nel rispetto delle reali capacità ed esigenze umane. Dall’altro lato, sono stati sviluppati feedback quantitativi per informare l’utente sulle proprie prestazioni nell’esecuzione dei compiti, sugli obiettivi delle attività e sul supporto fornito dal dispositivo. Tali informazioni sono state fornite all’utente sotto forma di feedback visivi, concepiti per essere esaustivi senza però distrarre l’attenzione, al fine di evitare eventuali perdite di concentrazione e coinvolgimento. Inoltre, sono stati definiti ulteriori feedback volti ad aiutare gli osservatori esterni, quali terapisti in contesti riabilitativi o gestionali ed ergonomisti in campo industriale, nella progettazione e nel perfezionamento di attività personalizzate ed obiettivi a lungo termine. Tutti gli strumenti hardware e software appartenenti ai diversi livelli sono stati poi integrati sviluppando un framework software modulare, flessibile ed affidabile, basato su un noto middleware robotico, al fine di gestire i processi di comunicazione e scambio di informazioni. Infine, il framework sviluppato nel corso del mio dottorato è stato specializzato per realizzare un’applicazione di riabilitazione della camminata assistita da un dispositivo esoscheletrico. Questo contesto è stato scelto perché la cooperazione simbiotica è fondamentale per raggiungere l’obiettivo finale: massimizzare l’efficacia del percorso riabilitativo che deve essere dinamicamente adattato per seguire al meglio le mutevoli esigenze e capacità del paziente mantenendolo allo stesso tempo coinvolto e concentrato. La specializzazione del framework multilivello proposto è stata utilizzata con successo per realizzare gli obiettivi del progetto Europeo Biomot. All’interno di tale progetto, infatti, abbiamo sviluppato un innovativo prototipo di esoscheletro indossabile per la riabilitazione della camminata in grado di modulare in tempo reale il supporto fornito, seguendo diverse strategie di cooperazione ed in funzione delle esigenze e capacità dell’utente. Allo stesso tempo, l’utente risulta essere coinvolto attivamente nel proprio processo di riabilitazione attraverso accattivanti feedback visivi sulle sue prestazioni nel raggiungimento degli obiettivi di riabilitazione e sul sostegno fornitogli dell’esoscheletro. Il framework si è dimostrato fondamentale per chiudere l’anello di informazioni che collega utente e dispositivo e per fornire preziosi feedback quantitativi agli osservatori esterni. Sia i ricercatori che gli esperti clinici che hanno valutato l’applicazione riabilitativa del framework multilivello hanno fornito feedback entusiasti in merito alle soluzioni proposte e ai risultati ottenuti. Pertanto, si può affermare che il framework multilivello sviluppato in questa tesi ha le potenzialità di avanzare l’attuale stato dell’arte nell’ambito dell’interazione simbiotica uomo–macchina. Infatti, tale framework potrà supportare lo sviluppo di una nuova generazione di dispositivi robotici capaci di cooperare con l’uomo nell’esecuzione di compiti impegnativi in ambienti non strutturati, nel rispetto delle reali esigenze, intenzioni e capacità di quest’ultimo.