Inferenza variazionale per modelli dinamici ad alta dimensionalità

One of the most frequently discussed aspects of research in Bayesian statistics is the estimation of a posteriori distributions in the context of big data analysis. The main problems practitioners face are the computational limitations of classical approaches and the difficulty of selecting subsets of relevant variables from all possible ones. Markov chain Monte Carlo algorithms (MCMC) have been for a long time the most adopted tool to carry out Bayesian inference. However, when introducing ad hoc priors to regularize estimates and perform authomatic variable selection, the models got more complex and MCMC methods turn out to be computationally inefficient. Therefore, the interest moved towards variational approximations increased in the last decades. The latter are a family of deterministic approximations that allows for Bayesian inference in complex models in a reasonable amount of time, while preserving good accuracy in the posterior estimates. This PhD thesis focuses on combining regularization and variable selection procedures with variational approximation techniques leading to novel algorithms to efficiently estimate high-dimensional models in the context of time series data. The first Chapter provides an overview of the existing literature on variational approximations. The second Chapter undertake the problem of estimation and prediction in multivariate high-dimensional dynamic regressions in low signal to noise ratio scenarios. The third Chapter shows an interesting use of parametric variational Bayes to introduce regularization and smoothness in the posterior estimates of a univariate stochastic volatility model. We emphasize the possible importance of this approach within an empirical finance application to portfolio management. The fourth, and last, Chapter proposes a novel semi-parametric variational Bayes algorithm to perform accurate dynamic variable selection in time-varying parameter regressions. The combination between the proposed variational approximation and the model specification yield remarkable theoretical properties, not achievable through classical MCMC methods.

Uno degli aspetti pi`u discussi negli ultimi anni dalla ricerca in statistica bayesiana `e la stima delle distribuzioni a posteriori nel contesto dell’analisi dei big data. I problemi principali che i ricercatori devono affrontare sono i limiti computazionali degli approcci classici e la difficolt`a di selezionare dei sottoinsiemi di variabili importanti tra tutte quelle disponibili. Gli algoritmi Markov chain Monte Carlo (MCMC) sono stati per lungo tempo lo strumento pi`u adottato per l’inferenza bayesiana. Tuttavia, con l’introduzione di distribuzioni a priori ad hoc per regolarizzare le stime ed eseguire la selezione automatica delle variabili, i modelli sono diventati sempre pi`u pi`u complessi e i metodi MCMC si sono rivelati computazionalmente inefficienti. Per questo motivo, negli ultimi decenni `e aumentato l’interesse verso le approssimazioni variazionali. Quest’ ultime rappresentano una famiglia di approssimazioni deterministiche che consentono l’inferenza bayesiana anche per modelli complessi in un tempo ragionevole, ma, allo stesso tempo, preservando una buona accuratezza nelle stime a posteriori. Questa tesi di dottorato si concentra sulla combinazione di procedure di regolarizzazione e selezione delle variabili con tecniche di approssimazione variazionale. L’accostamento di queste procedure d`a vita nuovi algoritmi per stimare in modo efficiente modelli ad alta dimensionalit`a nel contesto delle serie temporali. Il primo Capitolo fornisce una panoramica della letteratura esistente sulle approssimazioni variazionali. Il secondo Capitolo affronta il problema della stima e della previsione nelle regressioni dinamiche multivariate ad alta dimensionalit`a in scenari con basso rapporto segnale/rumore. Il terzo Capitolo si focalizza su un interessante utilizzo delle tecniche variazionali parametriche per introdurre la regolarizzazione nelle stime a posteriori, ottenendo traiettorie pi`u lisce, in un modello univariata con volatilit`a stocastica. L’importanza di questo approccio viene sottolineata nell’ambito di un’applicazione di finanza empirica alla gestione del portafoglio. Il quarto, e ultimo, Capitolo propone un nuovo algoritmo variazionale semi-parametrico per eseguire un’accurata selezione dinamica delle variabili nelle regressioni con parametri variabili nel tempo. La combinazione tra l’approssimazione variazionale proposta e la specificazione del modello produce notevoli propriet`a teoriche, non ottenibili con l’utilizzo dei classici metodi MCMC.