Implicit Learning and Deafness: from the Assessment to the Design and Implementation of a Serious Game-based Training for Deaf Children with Cochlear Implants

Experiencing auditory deprivation during early childhood affects adversely children’s ability to process and acquire spoken languages. Deaf and hard-of-hearing children are therefore at risk of language delays. If compared with typically hearing peers, deaf children with cochlear implants are reported having poorer outcomes in spoken language and literacy, and that has been associated with deficient verbal working memory skills (Burkholder & Pisoni, 2003; Geers, 2003; Harris, et al., 2013; Pisoni & Cleary, 2003). Despite the ongoing investigation of the factors influencing speech, language, and literacy, large individual differences in language outcomes that are typically found in deaf children following cochlear implantation (Pisoni et al., 1999), and a considerable amount of this variability remains unexplained (Geers, 2002, 2006). A recent hypothesis suggests that it might be partially explained by deficits in implicit learning processes (Conway et al., 2009). Implicit learning is a domain-general ability to learn patterns of recurrent information without intention to learn, or awareness of the learning process. It was first described by Reber (1989) as an evolutionary precursor to explicit learning that happens incidentally, without intention, and in a manner that is opaque to explanation. It allows the implicit detection and elaboration of distributional statistical regularities that are recurring in inbound information. It plays a crucial role during the early stages of language development (Saffran & Kirkham, 2018; Romberg & Saffran, 2010), and is considered a fundamental mechanism for human development and everyday life (Abrahamse, 2012). According to the “auditory scaffolding hypothesis”, a lack of auditory stimulation at an early age, could affect language development directly due to the poor exposition to spoken language, and indirectly, adversely affecting implicit learning of linguistic regularities and therefore language development (Conway et al., 2009). This hypothesis is controversial and widely debated. In this thesis work, we investigated this hypothesis using two different paradigms: the artificial grammar learning and the simple reaction times. Our studies involved orally educated profoundly deaf children with cochlear implants between the age of 5 and 11 years old. These studies are described in the first part of the thesis. Their aim is to contribute to the lively discussion about cognitive processes behind language acquisition in deaf children with cochlear implants. Also, based on these findings, we aim to develop a serious-game-based training that could potentially boost the basic cognitive processes that are deficient in this population, hopefully maximizing the language learning potential of hard-of-hearing children and deaf children with cochlear implants. The design, the implementation and the cycles of user experience assessment of “SELEDE” (a SErious game for training sequence LEarning in DEaf children) are described in the second part of the thesis. Proposing a training as a serious game captivates the children’s interest, and contributing to the success of the training. SELEDE was developed in collaboration with Fondazione Bruno Kessler (Trento). It comprises three mini-games in which auditory and visual sequences are used to train implicit and explicit sequence learning processes. The games were implemented using a co-design approach in which psychologists, computer scientists, audiologists, and speech and language therapists were involved. The design process resulted in the development of a game prototype that has been subjected to two cycles of evaluation of the user experience. To the best of our knowledge, this might be the first known attempt for developing a training tool that integrates implicit and explicit learning processes. SELEDE could represent an innovative starting point for new interventions addressed to all those children who are showing difficulties in processing temporally and sequentially distributed pieces of information (e.g. language).

Una deprivazione uditiva precoce, durante la prima infanzia, influisce negativamente sulla capacità dei bambini di elaborare ed acquisire il linguaggio parlato. I bambini con problemi di udito o sordi rischiano quindi di sviluppare in ritardo o in modo deficitario le abilità linguistiche. Se confrontati con i loro coetanei udenti, i bambini sordi con impianto cocleare ottengono risultati peggiori nelle prove di linguaggio orale e scritto, e questo è stato associato ad una minore efficienza della memoria di lavoro verbale (Burkholder & Pisoni, 2003; Geers, 2003; Harris, et al., 2013; Pisoni & Cleary, 2003). Nonostante l'indagine dei fattori che influenzano lo sviluppo delle abilità di linguaggio orale e dell’alfabetizzazione sia in costante evoluzione, gli studi che si occupano di bambini sordi con l'impianto cocleare tipicamente osservano grandi differenze individuali nei risultati ottenuti nelle prove linguistiche (Pisoni et al., 1999), e non sono ancora stati in grado di spiegare una porzione notevole di questa variabilità (Geers, 2002, 2006). Una recente ipotesi suggerisce che questa potrebbe essere parzialmente spiegata da un deficit nei processi di apprendimento implicito (Conway et al., 2009). Per apprendimento implicito si intende la capacità di elaborare ed apprendere modelli di informazione statisticamente ricorrenti, senza volontà di imparare o consapevolezza del processo di apprendimento. L’apprendimento implicito è stato descritto per la prima volta da Reber (1989) come un precursore evolutivo dell'apprendimento esplicito che avviene incidentalmente, senza intenzione, e al di fuori della consapevolezza. Esso permette l'individuazione e l'elaborazione implicita della distribuzione delle regolarità statistiche che ricorrono nelle informazioni in entrata. Svolge un ruolo cruciale nelle prime fasi dello sviluppo del linguaggio (Saffran & Kirkham, 2018; Romberg & Saffran, 2010), ed è considerato un meccanismo fondamentale per lo sviluppo umano e per l’adattamento alla vita quotidiana (Abrahamse, 2012). Secondo la "auditory scaffolding hypothesis", la mancanza di stimolazione uditiva in età precoce potrebbe influenzare lo sviluppo linguistico sia in modo diretto, a causa della scarsa esposizione alla lingua parlata, sia indirettamente, influenzando negativamente l'apprendimento implicito delle regolarità linguistiche e quindi lo sviluppo del linguaggio (Conway et al., 2009). Questa ipotesi controversa è stata recentemente ampiamente dibattuta. In questo lavoro di tesi, abbiamo indagato questa ipotesi utilizzando due diversi paradigmi sperimentali di valutazione delle abilità di apprendimento implicito: un compito di apprendimento di grammatiche artificiali e un compito basato sui tempi di reazione semplici. I nostri studi, descritti nella prima parte della tesi, hanno coinvolto bambini sordi profondi con impianto/i cocleare/i tra i 5 e gli 11 anni di età, con l’obiettivo di contribuire alla vivace discussione sui processi cognitivi alla base dell'acquisizione del linguaggio nei bambini sordi con impianto cocleare. Le conoscenze ottenute grazie a questi studi servono un secondo obiettivo, di tipo applicativo. Ossia, la creazione di un serious game che possa servire come training per esercitare i processi cognitivi di apprendimento carenti in questa popolazione, massimizzando, si spera, il potenziale di apprendimento linguistico dei bambini con problemi di udito e sordi con impianto cocleare. I processi di design, implementazione, ed i cicli di valutazione della user experience di "SELEDE" (a SErious game for training sequence LEarning in DEaf children) sono descritti nella seconda parte della tesi. Proporre un training sotto forma di videogioco può contribuire a catturare l'interesse dei bambini e ad accrescere le possibilità di successo. SELEDE è stato sviluppato in collaborazione con la Fondazione Bruno Kessler (Trento). Si compone di tre mini-giochi in cui sequenze uditive e visive sono utilizzate per allenare i processi di apprendimento di sequenze impliciti ed espliciti. I giochi sono stati realizzati seguendo un approccio di co-design nel quale sono stati coinvolti psicologi, tecnici informatici, medici audiologi, e logopedisti. Il processo di progettazione ha portato allo sviluppo di un prototipo di gioco che è stato sottoposto a due cicli di valutazione della user experience. Questo potrebbe essere il primo tentativo presente in letteratura di sviluppare uno strumento di training che integri entrambi i processi di apprendimento: impliciti ed espliciti. SELEDE potrebbe rappresentare un punto di partenza innovativo per interventi innovativi rivolti a tutti quei bambini che mostrano difficoltà nell'elaborazione di informazioni distribuite in sequenze temporali (es. linguaggio).