Segmental and supra-segmental aspects of speech perception in familiar and unfamiliar languages: Influence of the listener's native language as revealed by Event-related potentials (ERPs)

The phonological structure differs between languages. Human brain structure subserving speech perception is shaped through early exposure to and long-term experience with one’s native language, so that the sensitivity to specific acoustic cues that are relevant in that language develops. Such adaptive process of brain plasticity facilitates to recognize phonemes and capture prosodic signals correctly in the native language, whereas it augments difficulty to perceive some linguistic cues in foreign languages. Speech phonology consists of segmental and suprasegmental components. Segmental components are expressed by formants defining phonemes, and suprasegmental components are defined by pitch (fundamental frequency: F0), intensity and temporal parameters (duration of phonemes and of pauses). The present studies are aimed at investigating cortical auditory processing of segmental and suprasegmental components of speech using the techniques of event-related brain potentials (ERPs). In Study I, two experiments were conducted to explore the auditory perception of vowels that belong or not to the phonemic inventory of listeners’ native language. The mismatch negativity (MMN) is an ERP component reflecting pre-attentive detection of auditory deviance compared with the integrated representation of standard features in the sensory memory (Näätänen et al., 2007; Kujala et al., 2007 for reviews). In the present study, this component was used to tap language-specific long-term memory traces for vowels (Näätänen et al., 1997; Cheour et al., 1998; Winkler et al., 1999a). An auditory sequence including four vowels (one standard and three deviants), each pronounced by three speakers, was presented in passive and active listening conditions. When all the vowels were distinctive in the native inventory (Experiment 1), the MMN was elicited by each deviant vowel category independently of speaker variability, demonstrating pre-attentive categorization based on long-term memory traces. By contrast, when a part of vowels did not belong to the native phonemic inventory (Experiment 2), deviant vowels did not elicit MMNs, indicating the lack of automatic categorization. Moreover, speaker’s variability interacted with vowel category only in the active listening condition, as reflected by behavioral data and cognitive ERP components, suggesting that listeners depended more on conscious acoustic analysis of each stimulus than on pre-attentive categorization, when the deviant to discriminate is physically similar to the standard or is not supported by the inventory in the native language. In Study II, another experiment (Experiment 3) was conducted to investigate the perception of small and large pitch changes embedded in sentences spoken in listeners’ native language, jabberwocky or a foreign language. Behavioral performance in a pitch change detection task and the ERP components elicited by pitch changes (an early centro-temporal negativity and a later positivity) were analyzed. Results showed that subjects processed phrasal pitch better in their native language than in the foreign language, while the results for jabberwocky sentences were intermediate, suggesting that both familiar prosodic patterns and natural and meaningful context in the native language help listeners to detect subtle changes in phrasal pitch contour. Overall results confirmed that long-term experience with one’s native language has effects from early stages of cortical auditory processing involved in speech perception, modulating conscious perception of speech stimuli in different languages.

La struttura fonologica varia tra le lingue. I sistemi neurali nel cervello umano che sottostanno la percezione del linguaggio parlato vengono strutturati mediante l’esposizione precoce e la lunga esperienza con la lingua nativa, in modo che la sensibilità a specifici segnali acustici che sono pertinenti in quella lingua si sviluppi in modo ottimale ed estremamente efficiente. Tale processo adattivo di plasticità cerebrale facilita il riconoscimento dei fonemi e l’acquisizione degli indizi prosodici nella lingua nativa. D’altro canto, lo stesso processo aumenta la difficoltà di percepire alcuni segnali linguistici in lingue straniere. La presente tesi presenta degli studi effettuati per indagare l’elaborazione corticale delle componenti segmentali e soprasegmentali del linguaggio parlato utilizzando le tecniche di potenziali evento-relati (ERP). Nello Studio I, sono stati condotti due esperimenti sulla percezione uditiva delle vocali che appartengono o non appartengono all'inventario fonemico della lingua nativa dei soggetti. La Mismatch Negativity (MMN) è una componente di ERP che riflette la rilevazione pre-attentiva della devianza acustica dello stimolo attuale rispetto alla rappresentazione integrata dello stimolo standard nella memoria sensoriale (Näätänen, 2007; Kujala et al., 2007) ed è stata utilizzata anche per sondare le rappresentazioni lingua-specifiche nella memoria a lungo termine (Näätänen, 1997; Cheour et al., 1998; Winkler et al., 1999a). Una sequenza uditiva è stata costruita con quattro vocali (una standard e tre devianti), ciascuna pronunciata da tre parlanti diverse, ed è stata presentata ai soggetti nelle condizioni di ascolto attivo e passivo. Quando tutte le vocali erano distintive nell'inventario della lingua nativa, la MMN è stata generata da ciascuna vocale deviante indipendentemente dalla variabilità delle parlanti, dimostrando la categorizzazione pre-attentiva basata sulle rappresentazioni nella memoria a lungo termine (Esperimento 1). Al contrario, quando una parte delle vocali non apparteneva all'inventario fonemico nativo, la MMN è stata generata da nessuna delle vocali devianti, che indica la mancanza di categorizzazione automatica (Esperimento 2). Inoltre, la variabilità dovuta alle parlanti ha interagito con la categoria vocale nella condizione di ascolto attivo, come risulta dai dati comportamentali e dalle componenti cognitive di ERP, quando il deviante per discriminare è fisicamente simile allo standard (Esperimento 1) oppure non è supportato dall'inventario nella lingua nativa (Esperimento 2), suggerendo che l’analisi acustica consapevole ed altre strategie cognitive sono impiegate per categorizzare i devianti acusticamente difficili o ambigui. Nello Studio II (Esperimento 3), è stata indagata la percezione dei cambiamenti piccoli e grandi di altezza tonale (pitch) immessi nelle frasi parlate nella lingua nativa degli ascoltatori, jabberwocky o in una lingua straniera. Sono state analizzate le prestazioni in un compito di rilevazione delle incongruenze prosodiche e gli ERP generati dai cambiamenti di altezza tonale (una componente negativa precoce e una positività più tardiva). I risultati hanno dimostrato che i soggetti sono più efficienti ad elaborare l’altezza tonale nel contesto frasale della loro lingua nativa che della lingua straniera, mentre i risultati per le frasi in jabberwocky erano intermedi, suggerendo che sia la prosodia familiare che il contesto naturale e semanticamente interpretabile della lingua nativa aiutano gli ascoltatori a rilevare i cambiamenti sottili di altezza tonale. I risultati globali di questi studi hanno confermato che la lunga esperienza con la lingua nativa ha un impatto sull’elaborazione uditiva nella corteccia fin dagli stadi precoci della percezione del linguaggio parlato, di conseguenza modulando la percezione cosciente degli stimoli parlati in lingue diverse.