Robot Audio Localization using Directions Of Arrival

Nowadays there is an intensive study on the functionalities and capabilities of the robots in order to achieve the goal of building a human-like autonomous robot. In the robotics field, a lot of research has focused on video analysis but the contribution on the audio robot skills is much weaker. This thesis explores the Audio Source Localization problem (ASL) using only the Directions of Arrival (DOAs) estimated by Acoustic Sensors mounted on Mobile Robots connected in a Network. The use of the acoustic DOAs instead of the analysis of the whole audio signal is an innovative method thought for robotics purposes that introduces a new perspective of the audio-video synergy using video sensors for the robot localization in the environment in order to do the extrinsic audio sensor calibration. It is also proposed a new algorithm for localizing the 2D/3D position of an acoustic source using a Gaussian Probability over DOA approach (GP-DOA). Several simulation tests varying the errors over the DOA estimations and over the positions of the robots and the acoustic sources are done. Real test results using Microsoft Kinects as DOA sensors mounted on mobile robots and Aldebaran's NAO robots within the ROS framework, show that the algorithm is robust, modular and the approach can be easily used for robotics applications.

Al giorno d'oggi vi è uno studio intensivo sulle funzionalità e le capacità dei robot al fine di raggiungere l'obiettivo di costruire un robot autonomo simile all'uomo. Nel campo della robotica, la ricerca si è concentrata sull'analisi video, ma il contributo delle competenze audio dei robot è molto più debole. Questa tesi esplora il problema della Localizzazione di Sorgenti Sonore - Audio Source Localization (ASL) - usando solo le Direzioni di Arrivo - Directions of Arrival (DOAs) - stimate da Sensori Acustici montati su Robot Mobili connessi in rete. L'utilizzo di DOAs acustici al posto dell'analisi dell'intero segnale audio è un metodo innovativo pensato per scopi robotici che introduce una nuova visione della sinergia audio-video usando i sensori video per la localizzazione del robot nell'ambiente per calibrare i parametri estrinseci dei sensori audio. Viene altresì proposto un nuovo algoritmo per localizzare la posizione 2D/3D di una sorgente sonora usando un approccio probabilistico basato su Gaussiane e applicato alle DOA - Gaussian Probability over DOA approach (GP-DOA). Sono stati fatti diversi test in simulazione variando l'errore sulle stime delle DOA e l'errore sulle posizioni dei robot e delle sorgenti acustiche. Test reali usando le Microsoft Kinect come sensori DOA montate su robot mobili e robot Aldebaran NAO all'interno del framework ROS, dimostrano che l'algoritmo è robusto, modulare e che l'approccio può essere facilmente usato per applicazioni robotiche.