Object Localization and Recognition for Mobile Robots with Online Learning based on Mixture of Projected Gaussian

One of the primary capabilities required by autonomous robots is recognizing the surrounding environment with high responsiveness, often combined with object recognition and grasping tasks. Moreover robots acting in mutable scenarios are also required to be capable of learning new object models online. Along with peculiar requirements the robotics offers to the object recognition task some unique advantages, such the robot capability to move in the environment. Moreover, usually an autonomous robot can relax the recognition precision obtained at the beginning of its exploration and favour the speed at which this results are obtained. The aim of the work presented in this thesis is to explore a new object recognition method able to exploit this advantages in order to fulfil the features required by autonomous robotics. In order enhance pose estimation the proposed algorithm prioritize the keeping of the geometrical information from the objects shape and texture. Since the object models also need to be as much lightweight as possible this algorithm relies on local 6 DoF features extraction to describe the object appearance without load the final model of unnecessary information. Once the 6 DoF keypoints are obtained, the proposed method makes the use specifically designed probability distribution, namely the the Mixture of Projected Gaussian (MoPG) in order to learn their spatial distribution. A Bag of Words (BoW) technique has been introduced after the feature detection in order make feature descriptors more invariant to small appearance changes, due to light conditions or perspective distortions. The choice of using the MoPG distribution lies in one algebraic property of the Gaussian function, namely its closure over the convolution operator. In this thesis this property is exploited in order to obtain a closed form formula for calculating the cross-correlation of MoPG. The recognition algorithm makes use of the cross-correlation between MoPG in order to both identify and localize objects in the scene. The recognition and localization performances of the proposed technique was validated on two different publicly available datasets, namely the RGB-D Dataset and the BigBIRD Dataset. An analysis of both category and instance recognition results is presented and the emerged advantages or the issues of the proposed technique are discussed. The localization error (2 degrees) and the instance recognition rate (91%) resulted being aligned of the state of art thus justifying a further exploration of the proposed method. The topics presented in this thesis was further explored in some related works. In particular a collaboration with the Intelligent Systems Research Institute (Sungkyunkwan University, Republic of Corea) led an adapted version of the proposed method that has been successfully integrated in an autonomous domestic robot.

Una delle principali richieste ai robot autonomi e' la capacita' di saper riconoscere l'ambiente circostante con elevata reattivita', spesso combinando compiti di riconoscimento e manipolazione di oggetti. Inoltre, robot che agiscano in uno scenario mutevole devono anche essere in grado di apprendere modelli per nuovi oggetti in fase di utilizzo. Assieme a queste richieste specifiche la robotica autonoma presenta alcuni vantaggi unici per il problema del riconoscimento degli oggetti, come ad esempio la possibilita' di muoversi nell'ambiente. Molto spesso i robot autonomi possono rilassare i vincoli di accuratezza durante la fase inziale di esplorazione in modo da favorire la velocita' con cui vengono ottenuti i risultati. Lo scopo di questa tesi e' l'esplorazione di un nuovo metodo per il riconoscimento degli oggetti in grado di sfruttare gli specifici vincoli e vantaggi posti dalla robotica autonoma. Al fine di migliorare la stima della posa il metodo proposto da priorita' al mantenimento delle informazioni sull'apparenza geometria e tessiturale degli oggetti appresi. Dato che i modelli creati per gli oggetti devono essere il piu' possibile leggeri, l'algoritmo proposto utilizza l'estrazione di feature 6 DoF al fine di descrivere l'spetto di un oggetto senza caricare il modello di informazioni superlfue. Ona volta ottenuti i punti chiave a 6 gradi di liberta', il metodo proposto modella la loro distribuzione spaziale e' mediante l'uso di una distribuzione di probabilita' progettata appositamente, ossia la Mixture of Projected Gaussian (MoPG). La tecnica A Bag of Words (BoW) e' stata inoltre introdotta nell'individuamento delle feature al fine di rendere il loro descrittore piu' robusto alle piccole distorsioni visuali, dovute ad esempio alla prospettiva o alle condizioni di luce. La motivazione per l'utilizzo delle MoPG risiede in una importante proprieta' algebrica delle funzioni Gaussiane, ossia la loro chiusura rispetto all'operatore di convoluzione. In questa tesi tale proprieta' viene sfruttata al fine di ottenere la formula in forma chiusa per il calcolo della cross-correlazione su MoPG. L'algoritmo per l'identificazione degli oggetti fa uso della cross-correlazione tra MoPG sia per il riconoscimento degli oggetti che per la loro localizzare nella scena. Le capacita' di riconoscimento e localizzazione della tecnica proposta sono stati valutate su due differenti dataset pubblici, ossia il RGB-D Dataset ed il BigBIRD dataset. Sono state presentate inoltre le analisi sulle capacita' di riconoscimento sia a livello di categoria che di istanza, includendo l'analisi dei vantaggi e delle problematiche riscontrate dal metodo proposto. L'errore di localizzazione medio (2 gradi) ed il grado di riconoscimento delle istanze (91%) sono risultati essere in linea con lo stato dell'arte, giustificando cosi' un'ulteriore esplorazione del metodo proposto. I temi trattati in questa tesi sono stati ulteriormente esplorati in alcuni lavori ad essi collegati. In particolare, durante la collaborazione con il laboratorio Intelligent Systems Research Institute (Sungkyunkwan University, Republic of Corea) ha portato allo sviluppo di una variante del sistema proposto, poi integrata con successo in un robt autonomo in ambito domestico.