Multimodal Text Analysis and English Language Teaching

Corpora of spoken texts are commonly investigated by applying approaches borrowed from the investigation of corpora of written texts, partly due to the lack of adequate concordancing software tools. This common practice has somewhat limited the potential spoken texts bring to the study of oral discourse. Based on the theoretical and technical innovations which have taken place in the field of multimodal corpus linguistics (Baldry and Thibault, 2001; 2006a; 2006b; forthcoming), especially within the MCA project (Baldry, 2007b; 2008a; Baldry and Thibault, 2008), this thesis presents an alternative method for analysing spoken corpora for language functions and notions (van Ek and Trim, 1998a; 1998b; 2001). In particular, it applies the scalar-level approach developed within multimodal corpus linguistics to a corpus of 52 texts, carefully selected from the Padova Multimedia English Corpus (Ackerley and Coccetta, 2007a; 2007b), and demon-strates how this approach to text analysis facilitates the study of language functions and notions vis-à-vis their multimodal co-text (Baldry, 2008a). To illustrate this, the online multimodal concordancer MCA (Multimodal Corpus Authoring System) (Baldry, 2005; Baldry and Beltrami, 2005) was used to create, annotate and concordance the corpus in terms of functions and notions, as well as non-verbal features including gestures, dynamics and gaze. The findings of this research have been applied to English language teaching and learning by creating interactive activities illustrating the way in which corpora of spoken texts and multimodal concordancing techniques can be used by language learners and teaching material developers alike. The activities have been included in the online English course Le@rning Links (Ackerley, 2004; Ackerley and Cloke, 2005; Ackerley, Cloke and Mazurelle, 2006; Ackerley and Cloke, 2006; Ackerley and Coccetta, in press).

È pratica comune indagare corpora di testi orali utilizzando approcci presi in prestito dallo studio di corpora di testi scritti. Ciò è in parte dovuto alla mancanza di software adeguati per la loro interrogazione. Questa pratica ha alquanto limitato le potenzialità che corpora di tali testi offrono per lo studio della lingua orale. Questa tesi riprende i modelli teorici e gli strumenti informatici sviluppati dalla linguistica dei corpora multimodali (Baldry e Thibault, 2001; 2006a; 2006b; in fase di pubblicazione), e offre un metodo alternativo per lo studio di corpora orali per funzioni linguistiche e nozioni (van Ek e Trim, 1998a; 1998b; 2001). In modo particolare, la tesi applica il modello scalare, sviluppato dalla linguistica dei corpora multimodali, ad un corpus di 52 testi, accuratamente selezionati dal Padova Multimedia English Corpus (Ackerley and Coccetta, 2007a; 2007b), e dimostra come tale approccio faciliti lo studio delle funzioni linguistiche e delle nozioni vis-à-vis ciò che Baldry (2008a) definisce il co-testo multimodale. Per illustrate ciò, è stato usato il software MCA (Multimodal Corpus Authoring System) (Baldry, 2005; Baldry e Beltrami, 2005), grazie al quale si è potuto annotare ed interrogare il corpus dal punto di vista delle funzioni linguistiche e delle nozioni, ed anche dei gesti, dello sguardo e delle azioni, per mettere in evidenza l’interazione tra il linguaggio e gli altri sistemi semiotici. I risultati della ricerca sono stati applicati nell’ambito dell’apprendimento della lingua inglese nel contesto del corso online Le@rning Links (Ackerley, 2004; Ackerley e Cloke, 2005; Ackerley, Cloke e Mazurelle, 2006; Ackerley e Cloke, 2006; Ackerley e Coccetta, in fase di pubblicazione).