On variational approximations for frequentist and bayesian inference

Variational approximations are approximate inference techniques for complex statisticalmodels providing fast, deterministic alternatives to conventional methods that,however accurate, take much longer to run. We extend recent work concerning variationalapproximations developing and assessing some variational tools for likelihoodbased and Bayesian inference. In particular, the first part of this thesis employs a Gaussian variational approximation strategy to handle frequentist generalized linear mixedmodels with general design random effects matrices such as those including spline basisfunctions. This method involves approximation to the distributions of random effectsvectors, conditional on the responses, via a Gaussian density. The second thread isconcerned with a particular class of variational approximations, known as mean fieldvariational Bayes, which is based upon a nonparametric product density restriction on the approximating density. Algorithms for inference and fitting for models with elaborateresponses and structures are developed adopting the variational message passingperspective. The modularity of variational message passing is such that extensions tomodels with more involved likelihood structures and scalability to big datasets are relatively simple. We also derive algorithms for models containing higher level randomeffects and non-normal responses, which are streamlined in support of computationalefficiency. Numerical studies and illustrations are provided, including comparisons witha Markov chain Monte Carlo benchmark.

Le approssimazioni variazionali sono tecniche di inferenza approssimata per modelli statisticicomplessi che si propongono come alternative, più rapide e di tipo deterministico,a metodi tradizionali che, sebbene accurati, necessitano di maggiori tempi per l'adattamento. Vengono qui sviluppati e valutati alcuni strumenti variazionali per l'inferenzabasata sulla verosimiglianza e per l'inferenza bayesiana, estendendo dei risultati recentiin letteratura sulle approssimazioni variazionali. In particolare, la prima parte dellatesi impiega una strategia basata su un'approssimazione variazionale gaussiana per la funzione di verosimiglianza di modelli lineari generalizzati misti con matrici di disegnodegli effetti casuali generiche, includenti, per esempio, funzioni di basi spline. Questometodo consiste nell'approssimare la distribuzione del vettore degli effetti casuali,condizionatamente alle risposte, con una densità gaussiana. Il secondo filone concerneinvece una particolare classe di approssimazioni variazionali nota come mean field variational Bayes, che impone un prodotto di densità come restrizione non parametrica sulla densità approssimante. Vengono sviluppati algoritmi per l'inferenza e l'adattamento dimodelli con risposte elaborate, adottando la prospettiva del variational message passing. La modularità del variational message passing è tale da consentire estensioni amodelli con strutture di verosimiglianza più complesse e scalabilità a insiemi di dati di grandi dimensioni con relativa semplicità. Vengono inoltre derivati in forma esplicitadegli algoritmi per modelli contenenti effetti casuali su più livelli e risposte non normali,introducendo semplicazioni atte a incrementare l'efficienza computazionale. Sonoinclusi studi numerici e illustrazioni, considerando come riferimento per un confronto il metodo Markov chain Monte Carlo.