Alcuni sviluppi sui metodi di approssimazione variazionale per l'inferenza Bayesiana

One of the most common and prolific aspects of modern Bayesian statistical research concerns the determination of posterior distributions. Over the last decades, Monte Carlo sampling techniques based on Markov chains have represented the primary strategy to obtain posterior distributions when their explicit form is unavailable. Nevertheless, some limitations regarding their usage have emerged with the advent of the so-called big data, including the impossibility of scaling to large amounts of data and the non-rare difficulty of achieving satisfactory convergence. Variational approximations represent a possible alternative that may overcome the issues of Markov chain Monte Carlo. These methods are based on approximating the posterior distribution with a more tractable statistical distribution. The approximating distribution must be identified within a family of statistical distributions wisely chosen to be computationally manageable and sufficiently similar to the true and unknown posterior distribution. Once the approximation is obtained, this can be used to carry out inference on the model parameters. If the approximation is reliable, the inferential conclusions will be similar to those obtainable from the true posterior distribution. This PhD thesis studies new variational approximation strategies for Bayesian inference and prediction concerning prominent statistical models and challenging data types. The first chapter provides a sufficiently exhaustive overview of the existing literature on variational approximations. The second chapter investigates alternatives to common variational approximation approaches based on the Kullback-Leibler divergence for fitting univariate, linear and generalized linear models. The third chapter develops a computationally efficient and accurate approximation strategy for selecting fixed effects in multilevel linear models. The fourth chapter proposes posterior distribution approximations for Gaussian process regression models having nonstationary covariance functions.

Uno degli aspetti più noti e prolifici nella ricerca statistica moderna di stampo Bayesiano riguarda la determinazione delle distribuzioni a posteriori. Negli ultimi decenni, le tecniche di campionamento Monte Carlo basate su catene di Markov hanno rappresentato la strategia principale per ottenere distribuzioni a posteriori quando la loro forma esplicita non è disponibile. Ciononostante, alcuni limiti riguardanti il loro utilizzo sono emersi con l'avvento dei cosiddetti big data, tra i quali l'impossibilità di essere scalate su grandi quantità di dati e la non-rara difficoltà a raggiungere una soddisfacente convergenza. I metodi di approssimazione variazionale rappresentano una possibile alternativa che potrebbe superare i problemi legati al campionamento Monte Carlo basato su catene di Markov. Questi metodi si basano sull'approssimare la distribuzione a posteriori con una distribuzione statistica più facilmente trattabile. La distribuzione approssimante va individuata all'interno di una famiglia di possibili distribuzioni statistiche, sapientemente scelta affinchè sia computazionalmente maneggevole e sufficientemente simile alla vera ed ignota distribuzione a posteriori. Una volta determinata l'approssimazione, questa può essere utilizzata per svolgere l'inferenza sui parametri del modello. Se l'approssimazione è fedele, le conclusioni inferenziali ottenute saranno simili a quelle ottenibili con la vera distribuzione a posteriori. Questa tesi di dottorato studia nuove strategie di approssimazione variazionale per l'inferenza e la previsione di tipo Bayesiano, riguardanti importanti modelli statistici e stimolanti tipologie di dati. Il primo capitolo svolge una panoramica sufficientemente esaustiva sulla letteratura esistente riguardante le approssimazioni variazionali. Il secondo indaga alternative ai più comuni approcci di approssimazione variazionale basati sulla divergenza di Kullback e Leibler per l'adattamento di modelli univariati, lineari e lineari generalizzati. Il terzo capitolo sviluppa una strategia di approssimazione computazionalmente efficiente ed accurata per la selezione di effetti fissi in modelli lineari multilivello. Il quarto capitolo propone approssimazioni della distribuzione a posteriori per modelli di regressione basati su processi Gaussiani aventi funzioni di covarianza non-stazionarie.