Development and web-based implementations of algorithms for the automatic analysis of vessels in retinal images

The retinal fundus image analysis has become a common diagnostics tool, as it allows e.g. to gather information on the blood circulation in an easy and non-invasive way. My activity during the PhD has primarily focused on the development of algorithms and tools for the retinal images analysis allowing an automatic and reproducible understanding of information about the blood circulation and in particular about the structural features of the vascular network and the clinical parameters inferable from them. If several algorithms have been developed to segment the blood vessels, a very few algorithms have been proposed for the postprocessing to the vessel tracking step. First of all this step is useful because the segmentation could be affected by some errors as the detection as vessels of some other dark regions in the image (for example microaneurysms and haemmorages in pathological eyes conditions, or just noise, shadows and the fovea in normal conditions), therefore the first task of the postprocessing is to improve the performance of the tracking algorithm in terms of specificity: a module for the false vessels detection has been developed. After this preliminary step, the postprocessing algorithm analyzes the segmented vessels network in order to detect some points of interests in the image, some of them belonging to the vascular network as bifurcations and crossing points, other inferring from it as the optic disk and the fovea. The blood vessels in the eyes emerge from the optic disk as arteriolars, they open and spread almost radially (appearing in the image of the retina as a double arcade) and in the meantime they get narrower until they become capillaries. Most of them converge on the fovea, which is the area with the greatest visual acuity. From it the capillaries with venous blood depart following a parabolic course similar to the arteriolars one and they join again into the optic disk. This standard behavior have been used in the algorithm as a useful information for the detection of the optic disk and the fovea starting from the segmented vessels network. These points are important for many reasons: a lot of pathologies affect or the optic disk (as in the glaucoma) or the fovea (as in the macular telengiectasia) or both and they are often detected to perform other tasks as for the image calibration. Moreover in the postprocessing algorithm the information about their position has been used to understand which is the versus of the blood flux inside each disconnected vessel segment. This information has been exploited for the linking of the segments into a single vessel, for example where a crossing is present, and in the detection of the bifurcations where two branches depart from a single vessel. The postprocessing algorithm allows also the vessels classification in arteries and veins and it can be applied in the early diagnosis of retinopathies. Indeed, in the early stage of several diseases vascular changes do appear but they often affect differently each type of vessels. Arteries usually appear brighter than veins and sometimes with a central reflex due to the increased reflectivity of the arteriolar walls because of the oxygen content. Nevertheless these dissimilarities affect only the main vessels and strongly vary dependent on patients and locations on the retina, making their classification an hard task. The developed algorithm of classification uses a modular probabilistic approach: different classificators have been implemented providing each one a probability that a vessel is vein (equal to one minus the probability to be artery). The different probabilities are then integrated exploiting also metaknowledge information deriving from topological features: at crossings the two vessels have to belong to different classes, at a bifurcation the two branches belong to the same class of the trunk and in the area around the optic disk an artery often alternates with a vein. Besides the development of the postprocessing algorithm my activity focused on the application of the vascular information for the estimation of some clinical indexes, in particular the vessels' tortuosity and the Artery-to-Vein Ratio (AVR). It has been widely demonstrated that arteries becomes narrower (and consequently a reduced value of the AVR is measured) in presence of some eye's pathologies as in the diabetic and hypertensive retinopathy. It has been also observed that one of their effects is an increased vessel tortuosity: normal retinal blood vessels are straight or gently curved, but they become dilated and tortuous in presence of high blood flow, angiogenesis and blood vessel congestion. Nevertheless this behavior, in particular in the case of diabetes has not been clearly understood and reliably demonstrated, basically because a consistent quantitative measure of tortuosity and tools to measure it in an automatic way, do not exist yet. Until now the tortuosity has been evaluated by the graders using a qualitative scale (e.g. mild, moderate, severe, extreme) but a reliable quantitative measure would enable the retinal vascular tortuosity and its progression to be more easily concerned. Moreover the lack of tools providing an automated measurement of the tortuosity has until now prevented the analysis of this sign in the normal clinical practice. Finally, in literature some works propose measures to evaluate the tortuosity of just the single vessel, whereas a measure of the tortuosity of the global image has not been proposed yet. The collaboration with the Reading Centre, R\&D department, at the Moorfields Eye Hospital, where I passed six months as a research fellow, allowed a deeper understanding of the vascular changes in tortuosity in the diabetic retinopathy, to perform a study about the graders' evaluation and perception of the tortuosity feature and, finally, to develop a tool for the measure of this parameter. The study about the graders' perception of the tortuosity has been organized as it follows: two graders has been asked to classify the level of tortuosity (distinguishing among 6 different classes) on a medium large dataset of 200 images belonging to 50 diabetic Mongolian people (2 images per eye: one with field of view centered on the optic disk, the other on the macula, and both the eyes have been considered). It resulted that the graders agreed, but just modestly, about the perception of the images' tortuosity, both the field of view are needed for a reliable measure of the tortuosity and just a medium correlation between the right and left eyes has been measured suggesting that the tortuosity could be just partially congenital and partially due to the pathological condition of the single eye. In order to estimate the tortuosity in an automatic way a measure of tortuosity of the single vessels has been proposed: it integrates information on how many times a vessel changes convexity (or curvature sign) and on how large is the amplitude of each of the recognized turn curves (each segment delimited by two changes in convexity) and it considers how large is the vessel diameter. Moreover another measure of tortuosity has been proposed: it considers just the local changes of curvature and the diameter in that point of the vessel, regardless of that point belongs to a vessel or another one. Both the measures well correlate with the graders' perception of the tortuosity, providing a quantitative, objective and reproducible estimation of it. The correlation with the clinical data also suggests that the tortuosity has a diagnostic power for the diabetic retinopathy. Finally two systems have been developed: one for the estimation of the AVR (AVRnet) and the other one for the estimation of the tortuosity (TORTnet). Both of them are composed of a module for the automatic vascular tracking, an interactive editing interface to correct errors in a fast and easy way and set the required parameters of analysis, and a module for the computation of clinical indexes. The systems have been organized as a client-server structure to allow clinicians and researchers from all over the world to work remotely with them.

L'analisi del fundus retinico è diventata oramai un comune sistema diagnostico, in quanto permette di ottenere informazioni sulla circolazione sanguigna in maniera facile e non-invasiva. La mia attività di dottorato si è principalmente concentrata sullo sviluppo di algoritmi e tools per l'analisi dell'immagine retinica permettendo un'automatica e riproducibile conoscenza della circolazione sanguigna e in particolare dei parametri strutturali della rete vascolare e dei parametri clinici che da essi si possono dedurre. Se parecchi algoritmi sono stati sviluppati allo scopo di segmentare i vasi sanguigni, molti pochi sono stati proposti per il postprocessing a questo primo step. Innanzitutto quest'ulteriore elaborazione è importante perchè la segmentazione potrebbe essere affetta da alcuni errori quali il riconoscimento come vasi di altre regioni scure dell'immagine (per esempio microaneurismi e emorragie in situazioni patologiche dell'occhio, o solamente rumore, ombre e la fovea in condizioni normali). Quindi il primo compito del postprocessing consiste nel miglioramento delle prestazioni dell'algoritmo di tracking in termini di specificità: a questo scopo un modulo per il riconoscimento di falsi vasi è stato sviluppato. Dopo questo step preliminare, l'algoritmo di postprocessing analizza la rete vascolare precedentemente segmentata allo scopo di ricavare alcuni punti d'interesse dell'immagine, alcuni di essi appartenenti alla rete vascolare come biforcazioni e incroci, altri deducibili da essa come il disco ottico e la fovea. I vasi sanguigni emergono dal disco ottico come arteriole, si aprono e si diffondono quasi radialmente (nell'immagine retinica assumono un profilo a doppia arcata) e allo stesso tempo si assotigliano fino a diventare capillari. Molti di essi convergono nella fovea, ossia la zona della retina con la massima acuità visiva. Da essa dipartono i capillari con flusso venoso seguendo un percorso a parabola simile a quello arteriolare per riunirsi ancora poi nel disco ottico. Questo definito comportamento è stato utilizzato dall'algoritmo come un'utile informazione per l'identificazione del disco ottico e della fovea a partire dalla rete vascolare segmentata. L'importanza di questi punti è da ricondurre a molteplici ragioni: molte patologie colpiscono il disco ottico (come il glaucoma) o la fovea (come nella telengiectasia maculare) o entrambi e spesso il loro riconoscimento è usato per altri scopi quali la calibrazione dell'immagine. Inoltre nell'algoritmo di postprocessing l'informazione sulla loro posizione permette di capire il verso del flusso sanguigno all'interno dei singoli segmenti di vasi disconnessi tra loro. Questa informazione è stata sfruttata per la connessione di tali segmenti in un unico vaso, per esempio in presenza di un incrocio, e nel riconscimento di biforcazioni quando due rami dipartono da un unico vaso. L'algoritmo di postprocessing permette inoltre di classificare i vasi in arterie e vene ed esso può essere applicato nella diagnosi precoce delle retinopa- tie. Infatti nei primi stadi di diverse patologie sono visibili cambiamenti a livello vascolare che interessano diversamente i due tipi di vaso. Le arterie di solito appaiono più chiare delle vene e talora con un riflesso centrale dovuto alla maggiore reflettività delle pareti arteriolare in presenza di ossigeno.Tuttavia queste differenze colpiscono solo i vasi maggiori e variano fortemente da paziente a paziente e a seconda delle zone della retina, rendendo la loro classificazione un difficile compito. L'algoritmo di classificazione proposto usa un approccio modulare probabilistico: sono stati implementati diversi classificatori che restituiscono ognuno una probabilità che il vaso considerato sia vena (uguale a 1 meno la probabilità di essere arteria). Le diverse probabilità sono poi integrate sfruttando anche metainformazioni derivanti da caratteristiche topologiche dei vasi: agli incroci i due vasi appartengono a classi diverse e alle biforcazioni i due rami appartengono alla stessa classe del tronco e, ancora, nell'area attorno al disco ottico un' arteria è spesso alternata ad una vena. Oltre allo sviluppo dell'algoritmo di postprocessing la mia attività si è focalizzata sull'applicazione dell'informazione vascolare per la stima di alcuni indici clinici, in particolare della tortuosità e del rapporto Artero-Venoso (AVR). E' stato ampiamente dimostrato che le arterie si restringono (e conseguentemente è misurato un ridotto valore dell'AVR) in presenza di alcune patologie oculari come nella retinopatia diabetica e ipertensiva. E' stato osservato che uno dei loro effetti è una cresciuta tortuosità vascolare: i vasi retinici in condizioni normali sono dritti o leggermente curvi, ma si dilatano e aumentano in tortuosità in presenza di alta pressione del sangue, angiogenesi e congestione vasale. Tuttavia questo comportamento, in particolare nel caso del diabete, non è stato chiaramente capito e dimostrato in maniera affidabile, sostanzialemente perchè una misura quantitativa della tortuosità non esiste ancora, così come i tool per poterla misurare. Fino ad ora la tortuosità è stata valutata dagli esperti usando una scala qualitativa (leggera, modesta, severa e estrema), ma una misura quantitativa permetterebbe di comprendere e verificare più facilmente la tortuosità vascolare retinica e la sua progressione. Inoltre la mancanza di tool che forniscono una misura automatica di tortuosità, ha finora impedito l'analisi di questo segno nella normale pratica clinica. Infine in letteratua alcuni lavori propongono misure di tortuosità del singolo vaso, mentre non è ancora stata proposta una misura di tortuosità dell'intera immagine. La collaborazione con il Reading Center, Dipartimento R\&D, del Moorfields Eye Hospital di Londra, dove ho trascorso sei mesi, ha permesso di approfondire la conoscenza riguardo i cambiamenti di tortuosità dei vasi in presenza di retinopatia diabetica. Inoltre ha permesso di svolgere uno studio sulla valutazione degli esperti e la loro percezione riguardo il parametro tortuosità e, infine, di sviluppare un tool per la misura di questo parametro. Lo studio riguardo la percezione clinica della tortuosità è stato organizzato come segue: è stato chiesto a due esperti di classificare il livello di tortuosità (distinguendo tra 6 classi) di un dataset di 200 immagini appartenenti a 50 pazienti mongoli (2 immagini per occhio: una con FoV centrato sul disco ottico, l'altra sulla macula, e entrambi gli occhi sono stati considerati). E' apparso che i graders condividono, ma solo modestamente, la percezione di tortuosità, che entrambi i FoV sono necessari per una misura affidabile di tortuosità e la modesta correlazione tra occhio destro e sinistro ha suggerito che la tortuosità potrebbe essere parzialmente congenita e parzialmente dovuta a condizioni patologiche del singolo occhio. Allo scopo di stimare la tortuosità in modo automatico, una misura di tortuosità del singolo vaso è stata proposta: essa integra l'informazione sul numero di cambiamenti di convessità (o del segno di curvatura) del vaso e sull'ampiezza di ciascun segmento di curva (delimitato da due cambiamenti in convessità), e considera anche il diametro del vaso. Una seconda misura di tortuosità è stata proposta: essa considera soltanto i cambiamenti locali di curvatura e il diametro locale del vaso, senza considerare a quale vaso appartenga il punto considerato. Entrambe le misure correlano bene con la percezione di tortuosità degli esperti, offrendo quindi una stima di essa quantitativa, obiettiva e riproducibile. Inoltre la correlazione di tali misure con i dati clinici suggerisce che la tortuosità abbia potere diagnostico per la retinopatia diabetica. Infine due sistemi sono stati sviluppati: uno per la stima dell'AVR (AVRnet) e l'altro per la stima della tortuosità (TorTnet). Entrambi sono composti di un modulo automatico per il tracking vascolare, di un'interfaccia interattiva per correggere gli errori in modo facile e veloce e per settare i parametri d'analisi richiesti, e di un modulo per il calcolo degli indici clinici. I sistemi sono stati organizzati con una struttura client-server per permettere a clinici e ricercatori da tutto il mondo di poter lavorare con essi da remoto.