Stochastic estimation methods for latent variable models

Latent variables are widely spread in many application fields, such as psychometrics and social sciences, as a mathematical tool to account for dependence structures among multivariate data. While practical from a modelling perspective, they come with computational and scalability challenges related to the analytical intractability of the marginal likelihood of the data. Thus, a natural solution is often to optimise an approximation of the likelihood function of interest. Such approximations allow fitting the model at the cost of some statistical efficiency loss compared to the theoretical maximum likelihood estimator. This thesis is organised into three main chapters, which examine the intractable likelihood problem by taking advantage of stochastic-based approximations. The first one considers the optimisation of a Monte Carlo approximation of the likelihood of interest. By focusing on the efficiency of the sampling procedure, it shows it is possible to improve on standard estimation algorithms even when the dimensionality of the problem is not considered particularly challenging. The second one combines stochastic optimisation with approximations based on composite likelihoods. By merging ideas from the two literatures, we provide a stochastic algorithm for scalable and efficient composite likelihood estimation. The final chapter focuses on factor models for large-scale ordinal surveys and extends the algorithm introduced in the second one by incorporating projections and regularisers to deal with more complex estimation problems.

Le variabili latenti sono uno strumento matematico diffuso in molti campi di applicazione, come la psicometria e le scienze sociali, per modellare le strutture di dipendenza osservate su dati multivariati. Anche se pratiche da un punto di visto modellistico, tipicamente implicano importanti sfide computazionali e di scalabilità legate all'intrattabilità analitica della verosimiglianza marginale dei dati. Pertanto, una soluzione naturale è spesso quella di ottimizzare un'approssimazione di qualche tipo della funzione di verosimiglianza in questione. Tali approssimazione permettono la stima del modello al costo di una perdita di efficienza rispetto allo stimatore teorico di massima verosimiglianza. Questa tesi è organizzata in tre capitoli, i quali affrontano l'intrattabilità analitica della verosimiglianza sfruttando strategie basate su approssimazioni stocastiche. Il primo capitolo considera un'approssimazione Monte Carlo della verosimiglianza. In particolare, concentrandosi sull'efficienza della procedura di campionamento, evidenzia netti margini di miglioramento nell'accuratezza delle stime rispetto ad altri algoritmi più affermati, anche di fronte a problemi di dimensionalità solitamente considerata non particolarmente impegnativa. Il secondo capitolo combina strumenti di ottimizzazione stocastica con le approssimazioni basate su verosimiglianza composita. Sfruttando l'unione d'idee provenienti dalle due letterature, introduce un algoritmo stocastico per un'ottimizzazione efficiente e scalabile delle verosimiglianze composite. Il capitolo finale si concentra su modelli fattoriali per questionari con dati di tipo ordinale ad alta dimensionalità. A questo proposito, estende l'algoritmo descritto nel capitolo precedente introducendo la possibilità d'incorporare proiezioni e penalizzazioni allo scopo di gestire problemi di maggior complessità.