Composite Indicators and Ranking Methods for Customer Satisfaction surveys

Scientific literature on statistical methods for quality evaluation within the university has undergone recent developments particularly in relation to methods of analysis of the relative effectiveness of university activities, based on a comparison between various providers/units. In the field of relative effectiveness evaluation, an extremely delicate phase is identified in which the variety of indictors considered to be informative of the various aspects of the effectiveness itself requires a synthesis that permits the definition of rankings of the various compared units, and that provides a summarizing measure of the differential performance. From the application context suggestions emerge for the pursuit of a methodological path, the principal end objectives of which are the classification or ordering of a set of compared units against a complex multidimensional phenomenon, and the synthesis of a variety of indicators. From the application context suggestions emerge for the pursuit of a methodological path, the principal end objectives of which are the classification or ordering of a set of compared units against a complex multidimensional phenomenon, and the synthesis of a variety of indicators. A methodological solution in the nonparametric field is represented by the nonparametric combination of dependent tests and dependent rankings (NPC ranking; Pesarin & Salmaso, 2010), that allows the combination of rankings derived from orderings of statistical units against appropriate indicators, without the need to specify the dependence structure underlying the considered indicators that can be calculated, for example, on the same statistical units. This methodology represents an important surpassing of the usual synthesis of performance indicators made up of the simple arithmetic mean. The research contribution consists mainly in the extension of nonparametric methodological solutions above, such as those concerning the nonparametric combination of dependent tests and NPC ranking, in order for them to be used in the evaluation of satisfaction about products or services. Thus this research activity has a twofold purpose. From one side it aims to suggest innovative methodological tools with reference to problems of multivariate ranking and of combination of indicators, from the other hand it allows to solve practical problems. Indeed methodological solutions proposed in this work have been applied in the field of university teaching evaluation by analyzing data from student satisfaction surveys and in the field of the customer satisfaction related to services provided by the ski schools of Alto Adige. Other kinds of applications in industrial field, in development of new products and in life cycle of products assessment are also discussed.

La letteratura scientifica sui metodi statistici per la valutazione della qualità ha avuto diversi sviluppi soprattutto con riferimento a metodologie di analisi dell'efficacia relativa (Bird et. al, 2005). Nell'ambito della valutazione dell'efficacia relativa, si individua in particolare una fase estremamente delicata in cui la pluralità degli indicatori considerati informativi dei diversi aspetti dell'efficacia stessa, necessita di una sintesi che consenta in particolare di predisporre graduatorie delle diverse unità confrontate, e che ne fornisca una misura riassuntiva della performance. Dal contesto applicativo emergono spunti per la ricerca di un percorso metodologico che abbia come obiettivi finali principali: (i) la classificazione o l'ordinamento di un insieme di unità confrontate rispetto ad un fenomeno complesso multidimensionale, e (ii) la sintesi di una pluralità di indicatori. La metodologia considerata per risolvere i problemi sopra citati è basata sulla combinazione di test dipendenti e di graduatorie dipendenti (NPC test ed NPC ranking; Pesarin & Salmaso, 2010). Tale metodologia ha il notevole vantaggio di non dover specificare la struttura di dipendenza sottostante agli indicatori o test considerati, che possono essere calcolati ad esempio sulle stesse unità statistiche. Tale metodologia rappresenta un importate superamento dell'usuale metodo di sintesi di indicatori costituito dalla semplice media aritmetica. Il contributo di questa attività di ricerca consiste principalmente nell'estensione delle suddette soluzioni metodologiche non parametriche, in modo da renderle fruibili nell'ambito della valutazione della soddisfazione verso prodotti o servizi. Questo lavoro di ricerca ha quindi un duplice scopo. Da una parte si propone di proporre degli strumenti metodologici innovativi rispetto ai problemi di ordinamento multivariato e di combinazione di indicatori e dall’altra di risolvere problemi applicativi pratici. Le soluzioni metodologiche proposte sono state infatti applicate nell’ambito della valutazione della didattica universitaria tramite l’analisi dei questionari di soddisfazione degli studenti universitari e nell’ambito della customer satisfaction relativa ai servizi erogati dalle Scuole di Sci dell’Alto Adige. Sono stati inoltre discussi altri tipi di applicazione in ambito industriale in fase di sviluppo nuovo prodotto o nella definizione del ciclo di vita dei prodotti.