Disparity and Motion Estimation and their Application to 3D Reconstruction

This thesis provides an overview of the research that was done along the three years of the Ph.D. studies in the field of motion and disparity estimations. Concerning the motion estimation, a new parallel algorithm, which is suitable for a GPU based implementation, and a novel matching criterion based on a cross correlation based on binarized input are proposed. The combination of these techniques significantly reduces the computational cost while maintaining comparable results with respect to a standard recursive search method. On the topic of disparity estimation, a semi-automatic processing to align the disparity edges with the object borders is presented. This takes advantage of a possible user interaction which is used to mark the wrongly estimated disparity jumps. This in formation is then integrated in the estimation process by means of a feedback loop in the smoothness constraint of the algorithm. The support of an active system for the purpose of geometry estimation is evaluated as well. Specifically the problem of a Time-of-Flight camera depth map super-resolution guided from a single or multiple color cameras is addressed. A considerable gain is achieved with respect to state of the art methods, in particular with an increasing level of noise. In the second part of the thesis the motion and disparity estimation problem is jointly formulated. A method that tries to solve the aperture problem and to obtain a more robust estimation by loosely coupling a set of independent estimations is proposed. Specifically, the different estimations are processed in a hierarchical fashion and between every iteration a consistency between the resulting displacements is calculated. This is used as a quality measurement and integrated in the following iteration processing. Numerical results show the effectiveness of this approach. Eventually the techniques that have been developed are employed in a possible application scenario, i.e., the 3D reconstruction based on dense correspondence estimation. In particular we show how the combination of a block based recursive search algorithm with a subsequent optical flow method permits to obtain an accurate estimation and consequently a very precise reconstruction.

Questa tesi fornisce una visione d’insieme della ricerca effettuata durante i tre anni di dottorato nell’ambito della stima del moto e disparita`. Per la stima del moto si propone un nuovo algoritmo adatto per un’implementazione su GPU ed un criterio di stima delle corrispondenze che calcola la correlazione in una sequenza precedentemente binarizzata. La combinazione di queste tecniche permette una significativa riduzione del costo computazionale ottenendo comunque risultati comparabili con un algoritmo ordinario di ricerca ricorsiva. Per la stima della disparita si propone invece un processamento semiautomatico per allineare i bordi della disparita` con quelli degli oggetti. In particolare questo metodo usa una possibile iterazione con l’utente per definire le regioni non stimate correttamente. Questa informazione e` poi integrata nell’algoritmo tramite un feedback nel vincolo di smoothness. Inoltre si e` anche considerato il possibile supporto di un sistema attivo, piu` precisamente ci si e` concentrati sull’aumento di risoluzione della depth map di una camera a tempo-di-volo guidato da una o piu` camere a colori. I risultati dimostrano un notevole guadagno rispetto all’attuale stato dell’arte, in particolar modo in caso di un alto livello di rumore. Nella seconda parte della tesi viene formulato in modo congiunto il problema della stima del moto e disparita`. A questo riguardo viene proposto un metodo che cerca di risolvere il problema dell’apertura e di ottenere conseguentemente una stima piu` robusta mediante un accoppiamento lasco tra un insieme di stime indipendenti. Piu`precisamente le differenti stime vengono effettuate tramite un procedimento gerarchico e tra ogni iterazione viene calcolata la consistenza dei risultati. Questa rappresenta una stima della qualita` ed e` quindi integrata nella successiva iterazione permettendo un miglioramento dei risultati ottenuti. Infine le tecniche sviluppate precedentemente sono state applicate alla ricostruzione tridimensionale. In particolar modo viene mostrato come la combinazione di un algoritmo di ricerca ricorsiva con un metodo basato sull’optical flow permetta una stima densa e precisa e conseguentemente un’accurata ricostruzione.