Study and implementation of the end-to-end data pipeline for the virtis imaging spectrometer onboard Venus Express: "from science operations planning to data archiving and higher level processing"

This PhD Thesis describes the activities performed during the Research Program undertaken for two years at the Istituto Nazionale di AstroFisica in Rome, Italy, as active member of the VIRTIS Technical and Scientific Team, and one additional year at the European Space Astronomy Center in Madrid, Spain, as member of the Mars Express Science Ground Segment. This document will show a study of all sections of the Science Ground Segment of the Venus Express mission, from the planning of the scientific operations, to the generation, calibration and archiving of the science data, including the production of valuable high level products. We will present and discuss here the end-to-end diagram of the ground segment from the technical and scientific point of view, in order to describe the overall flow of information: from the original scientific requests of the principal investigator and interdisciplinary teams, up to the spacecraft, and down again for the analysis of the measurements and interpretation of the scientific results. These scientific results drive to new and more elaborated scientific requests, which are used as feedback to the planning cycle, closing the circle. Special attention is given here to describe the implementation and development of the data pipeline for the VIRTIS instrument onboard Venus Express. During the research program, both the raw data generation pipeline and the data calibration pipeline were developed and automated in order to produce the final raw and calibrated data products from the input telemetry of the instrument. The final raw and calibrated products presented in this work are currently being used by the VIRTIS Science team for data analysis and are distributed to the whole scientific community via the Planetary Science Archive. More than 20,000 raw data files and 10,000 calibrated products have already been generated after almost 4 years of mission. In the final part of the Thesis, we will also present some high level data processing methods developed for the Mapping channel of the VIRTIS instrument. These methods have been implemented for the generation of high level global maps of measured radiance over the whole planet, which can then be used for the understanding of the global dynamics and morphology of the Venusian atmosphere. This method is currently being used to compare different emissions probing at different altitudes from the low cloud layers up to the upper mesosphere, by using the averaged projected values of radiance observed by the instrument, such as the near infrared windows at 1.7 μm and 2.3μm, the thermal region at 3.8μm and 5μm plus the analysis of particular emissions in the night and day side of the planet. This research has been undertaken under guidance and supervision of Giuseppe Piccioni, VIRTIS co-Principal Investigator, with support of the entire VIRTIS technical and scientific team, in particular of the Archiving team in Paris (LESIA-Meudon). The work has also been done in close collaboration with the Science and Mission Operations Centres in Madrid and Darmstadt (European Space Agency), the EGSE software developer (Techno Systems), the manufacturer of the VIRTIS instrument (Galileo Avionica) and the developer of the VIRTIS onboard software (DLR Berlin). The outcome of the technical and scientific work presented in this thesis is currently being used by the VIRTIS team to continue the investigations on the Venusian atmosphere and plan new scientific observations to improve the overall knowledge of the solar system. At the end of this document we show some of the many technical and scientific contributions, which have already been published in several international journals and conferences, and some articles of the European Space Agency used for public outreach.

Questa tesi di dottorato espone le attività svolte durante il programma di ricerca di due anni presso l'Istituto Nazionale di AstroFisica a Roma, Italia, come membro del Team Scientifico e Tecnico dello strumento VIRTIS, più un anno aggiuntivo presso l'European Space Astronomy Center a Madrid, Spagna, come membro del Ground Segment Scientifico della missione spaziale Mars Express. Questo documento riassume lo studio di tutte le sezioni del Ground Segment Scientifico della Missione Venus Express, dalla pianificazione scientifica delle operazioni fino alla generazione, calibrazione ed archiviazione dei dati, inclusa l'elaborazione di prodotti ad alto livello. Qui si presenta e si discute il diagramma "end-to-end" dal punto di vista scientifico e tecnico, e descriviamo il flusso globale d'informazione: dalle richieste scientifiche originali dei ricercatori principali, alle operazioni in volo, l'analisi delle misure finali e l'interpretazione dei dati scientifici. Questi risultati ottenuti sono usati come punto d'inizio per la pianificazione di nuove osservazioni, ricominciando il ciclo e chiudendo così il diagramma globale. In questo documento si porge speciale attenzione alla descrizione dell'implementazione della "pipeline" di dati dello strumento VIRTIS su Venus Express. Durante il programma di ricerca, sono state sviluppate le procedure di generazione, calibrazione ed elaborazione dati, che sono adesso usate periodicamente in modo automatico per elaborare i dati grezzi ed i prodotti calibrati a partire dai pacchetti di telemetria generati dallo strumento in volo. I prodotti finali presentati in questo lavoro sono attualmente utilizzati da tutto il team scientifico di VIRTIS per l'analisi dei dati, e sono distribuiti a tutta la comunità  scientifica mediante l'Archivio di Scienza Planetaria (PSA) dell'ESA. Fino ad oggi, sono stati prodotti più di 20,000 file grezzi e circa 10,000 file calibrati, dopo quattro anni di missione in volo attorno a Venere. Nella parte finale della Tesi, si presentano alcuni metodi avanzati d'elaborazione dei dati, sviluppati per il canale -M (Mapping) dello strumento VIRTIS. Questi metodi sono stati implementati per la generazione di mappe ad alto livello di radianza misurata su tutto il pianeta, che possono essere utilizzate per migliorare la comprensione della dinamica e morfologia globale dell'atmosfera venusiana. Questi metodi sono attualmente usati per confrontare emissioni provenienti da diversi livelli dell'atmosfera, dalla superficie fino all'alta ionosfera, usando i valori misurati dallo strumento a diverse bande, come le finestre del CO2 (1.7 μm e 2.3 μm), le mappe di temperature nel infrarosso termico, o tante altre emissioni caratteristiche della parte giorno e notte del pianeta. Questa ricerca è stata portata avanti sotto la guida e la supervisione di, Giuseppe Piccioni, co-Principal Investigator di VIRTIS presso IASF-Roma, con il supporto di tutto il team tecnico e scientifico dello strumento, in particolare dai responsabili dell'archivio presso LESIA-Parigi. Questo lavoro è stato fatto anche in colaborazione con i centri di operazioni scientifiche e di missione (SOC/MOC) dell'ESA a Madrid e Darsmstadt, con la ditta Techno Systems per la validazione del software EGSE, con i responsabili di sviluppo dello strumento presso Galileo Avionica, e con DLR Berlin per le modifiche del software di bordo dello strumento. I risultati ottenuti dal lavoro tecnico e scientifico presentato qui sono attualmente usati dal team di VIRTIS per continuare le ricerche sull'atmosfera di Venere, per pianificare nuove misure ed in generale per migliorare la conoscenza globale sul sistema solare. Alla fine di questo documento mostriamo alcuni dei contributi tecnici e scientifici che sono stati pubblicati in diverse riviste scientifiche e conferenze internazionali, ed in molti articoli dell'ESA a scopo divulgativo.