Evaluating the Internationalisation of Italian University System. Developing a Framework and a Set of Indicators. (Valutare l'internazionalizzazione del sistema universitario italiano. Sviluppo di un quadro concettuale e di un set di indicatori)

The research activities dealt with the Higher Education Internationalisation (HEI) and its impact on the development of universities within European and OECD area. On the basis of an in-depth review of literature on HEI evaluation, some specific trends and research gaps have been identified. First, a comprehensive approach to HEI is still lacking: most studies focus either on sectoral activities and programmes for HEI, or on the effects of internationalisation on one or more main specific HE missions. Second, most studies focus on individual universities, while research at the national level is still underdeveloped. On the basis of the literature review, three research questions have been identified: - What are the main developments of Higher Education Internationalisation evaluation at the international level and why has it emerged as a key issue in EU and OECD debate? - What are the main developments of Higher Education Internationalisation evaluation in the Italian context and to what extent Italian and international trends converge and diverge? - How to define a conceptual framework and a set of indicators for the evaluation of Higher Education Internationalisation of the Italian system? To answer the first research question, the research adopted a descriptive approach. The purpose was to identify and analyse some key determinants of the HEI evaluation, by using a desk analysis and semi-structured interviews at European Commission and at Organisation for Economic Co-operation and Development (OECD). As a result, distinct key elements addressing HEI evaluation have been investigated, to define the key determinants of HEI systems of evaluation that have been put in place at international level in the last few years. Such determinants include the general perspectives (accountability versus improvement), the different variables addressing the level of assessment, as well as scale and scope, different applications of the results, and finally the various kind of indicators used. This study allowed him to set up the necessary background to implement the subsequent stages of research. The second research question was addressed by employing an exploratory approach. The focus was on Italian HEI scenario and on areas of agreement and disagreement between the Italian and international models. In terms of methodologies, a desk analysis and performed semi structured interviews at Ministry of Education, University and Research (MIUR), Italian national agency for the evaluation of Higher Education (ANVUR) and the Conference of Italian University Rectors (CRUI) have been used. In addition, four case studies were undertaken, by employing both a within and a cross-case analysis. The research involved four selected Italian universities: Bologna, Politecnico di Milano, Udine and Trento. The investigation allowed to explore the national HE evaluation system characterised by a multiplicity of fragmented and partially overlapping indicators. On this basis the PhD candidate examined and reviewed HEI policies developed by the State and individual universities, in terms of different approaches and various set of indicators currently in use. The third research question, approached with a theory building methodological approach, led to the development of both an original evaluation framework and a set of indicators for evaluating the internationalisation of the national system of Higher Education. This model took also advantage of the findings emerged from the previous research stages. The framework focuses on evidence-based evaluation and adopts an input-output approach, combined with an analysis of sectoral and cross-cutting processes. The evaluation system identifies 12 distinct areas of evaluation, which are contextualised within the three missions of HE (Teaching, Research and Third mission), cross-referenced, in turn, with the input-process-output dimensions. The scheme headed to the development of 29 components, intended as "minimal units" of evaluation. Each component includes specific sets of indicators and guiding questions for qualitative analysis. The framework is both accountability and improvement-oriented and combines a self-evaluation with an external one. In addition, indicators have been validated by a group of key actors, via semi structured interview in the four universities already mentioned.

Le attività di ricerca hanno riguardato l'internazionalizzazione dell'istruzione superiore accademica (HEI) e il suo impatto sullo sviluppo delle università nel quadro europeo e in area OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico). Sulla base dell'analisi della letteratura sulla valutazione della HEI, si è proceduti ad individuare una serie di gap della ricerca. In primo luogo, un approccio di tipo sistemico alla HEI è ancora in larga parte assente. Molteplici studi si concentrano o su attività e programmi di carattere frammentario e/o settoriale, oppure sugli effetti della HEI su una o più specifiche missioni dell'università. In secondo luogo, la maggior parte degli studi si occupa delle pratiche espresse da singoli atenei, mentre è poco sviluppata la valutazione della HEI su base nazionale. Sulla base dell'analisi della letteratura, sono state precisate tre domande di ricerca: - Quali sono i maggiori sviluppi della valutazione della HEI a livello internazionale e perché essa è emersa come una questione chiave nel dibattito europeo e più estesamente nell'area OCSE? - Quali sono i maggiori sviluppi della valutazione della HEI nel contesto italiano e in quale misura le linee di tendenza in sede italiana e internazionale convergono e/o divergono? - Come definire un quadro concettuale e un set di indicatori per la valutazione della HEI nel sistema italiano? Per rispondere alla prima domanda di ricerca, l'indagine ha adottato un approccio di tipo descrittivo. La finalità è stata quella di individuare e analizzare alcune determinanti chiave dei sistemi di valutazione della HEI a livello internazionale, utilizzando sia la desk analysis che interviste semi strutturate presso la Commissione Europea e l'OCSE. In tal modo sono stati investigati gli elementi centrali propri dei più significativi sistemi sviluppati negli anni recenti su scala internazionale. Le determinanti riguardano sia le prospettive generali della valutazione (accountability versus improvement), i livelli interessati dall'assessment, così come l'ampiezza del fuoco valutativo, le differenti applicazioni dei risultati e i diversi generi di indicatori utilizzati. L'analisi ha consentito di sviluppare il necessario background per affrontare le fasi successive della ricerca. La seconda domanda di ricerca ha fatto ricorso ad un approccio di tipo esplorativo. L'attenzione è stata posta sullo scenario italiano della HEI e sui punti di convergenza e divergenza tra modelli impiegati in Italia e in sede internazionale. In termini di metodologie impiegate, si è ricorso ad un'indagine desk e ad interviste semi strutturate condotte presso il MIUR, l'ANVUR (Agenzia nazionale di valutazione del sistema universitario e della ricerca) e la CRUI (Conferenza dei Rettori delle Università Italiane). Inoltre, si sono condotti quattro studi di caso, articolati in within e cross-case analysis. La ricerca ha coinvolto quattro università, rispettivamente di Bologna, Udine e Trento, oltre al Politecnico di Milano. L'analisi ha consentito di mettere a fuoco i molteplici sistemi di valutazione della HEI oggi presenti in Italia, caratterizzati da una molteplicità di indicatori in parte frammentati e parzialmente sovrapposti. Su tale base si è reso possibile esaminare e porre a confronto i modelli valutativi predisposti dallo Stato e dai singoli atenei, individuandone i differenti approcci e le batterie di indicatori in uso. La terza e ultima domanda di ricerca, affrontata ricorrendo ad un approccio di theory building, ha condotto allo sviluppo di un quadro concettuale originale e di un set di indicatori per la valutazione della HEI a livello nazionale, valorizzando i precedenti esiti dell'indagine. Il framework adotta un'impostazione evidence-based e un approccio di tipo input-output, combinato con un'analisi dei processi, sia di tipo settoriale che trasversale. Il dispositivo valutativo identifica dodici distinte aree di assessment, che vengono contestualizzate all'interno delle tre missioni dell'università (Didattica, Ricerca e Terza missione), incrociate a loro volta con le dimensioni di input-process-output. Lo schema dà luogo a 29 componenti, intese come unità minime dell'analisi valutativa. Ciascuna componente è corredata di specifici indicatori e domande guida per l'analisi qualitativa. Il dispositivo è sia accountability- oriented che improvement-oriented e combina fasi di auto-valutazione e di valutazione esterna. Gli indicatori sono stati validati da un gruppo di attori chiave, mediante interviste semi strutturate condotte presso i quattro atenei precedentemente contattati per gli studi di caso.