Does sound matter? Studies of information encoding in short-term memory of signers and speakers.

DOES SOUND MATTER? Studies of information encoding in short-term memory of signers and speakers. Summary The short-term memory (STM) span, which corresponds to the longest sequence of items correctly recalled in a specific order, represents a widely used measure of STM capacity. STM span is shorter with signs as compared to speech, a robust finding that has been documented in different languages and populations using a variety of experimental paradigms. Attempts to characterize the source of modality-specific variations in STM span have been primarily of two types. Some accounts have drawn attention to structural differences between signs and verbal stimuli, supposing that signs are more complex in their internal structure and require more processing load for simultaneous integration of different features (movement, orientation, location, handshape) and longer articulatory duration. While a few results lent support to accounts assuming structural differences, findings showing that shorter STM spans persisted even when signs were carefully matched to verbal stimuli in duration, complexity, similarity etc., weaken accounts that identify structural differences as a primary cause of the disadvantage observed with signs. A second type of accounts hinges on the hypothesis that the reduced span is an effect of modality, stemming from greater STM capacity for encoding serial information in auditory STM as compared to visuo-spatial STM. The critical role these accounts assign to the encoding of temporal order information is justified by findings showing that when the task was free recall, without a requirement of a specific order, comparable spans appeared across modalities. The findings from free recall demonstrate comparable encoding of sign and speech, and working memory tests show comparable performance across modalities. Therefore the disadvantages for signs restricted to serial order recall lend support to a hypothesis linking the reduced STM capacity for signs to sequential order information. The present study aims to contribute to the investigation of the sequential order hypothesis that associates the reduced span of sign to the limitations of visuo-spatial STM processes in encoding temporal sequences. Research has shed light on the representation of serial order used in verbal STM, revealing that positions are encoded with respect to both start and end positions. The problem addressed in the present study is the source of the span reduction for ordered recall of signs, and a first question that arises is whether the same position scheme for order encoding in STM is used for signs and speech. We can explore this by identifying the scheme used to represent the position of items in a sequence in STM for signs and compare that to previous results from STM for speech. Here, we examined the perseverations that signers of Italian Sign Language produced in an immediate serial recall tasks. Perseverations were analysed to determine whether their occurrences reflected the encoding of serial positions with respect to both edges that characterizes verbal STM. In the core experiment of the present study we presented sequences of consonants of Italian sign language (LIS) alphabet to a group of 20 deaf students of Magarotto Institute in Padua, a secondary school where the communication among students and teachers is based on LIS. Sign sequences varying in length from 4 to 7 consonants were randomly presented on a computer screen at a rate of 1 second per sign. At the end of each sequence, participants were instructed to recall the letter signs in the same order. The length of the sequences was often purposely overspan to generate errors. We analysed the perseveration error pattern using the same technique as Fischer-Baum (2010). The results showed that, compared to hearing people, deaf participants demonstrated a reduced span, however, we found evidence for the same both-edges representation of position in STM for signed stimuli, suggesting that the same scheme is used to represent position in this task as is used in the STM for speech stimuli task. A next step was repeating the same experimental paradigm only using words and not letters as stimuli. Data was collected from 20 participants. However, in that case participants tended to produce responses of the same length, that made impossible to discern between different position encoding schemes. Those data were not enough to draw any definite conclusions from. A drastic extension of the subjects pool could have solved this problem, but at the moment it was not possible. There was, however, a possible bias: since the signers are literate, can read and write and possess strong skills of lip reading, there was a possibility that some phonological information could be involved in verbal material processing. To control for that, a study has been conducted involving two groups of participants: 20 signers (Magarotto institute students) and 15 speakers (University of Padua students). Two sets of experimental words were selected: similar in sign and similar in sound. Two matching control sets were balanced to experimental sets. The task was recalling sequences of 4 words, the 4 words were selected from one of the 4 sets. The hypothesis was that if the signers use phonological information, then words similar in sound would elicit more interference and would lead to weaker recall than a matching control group. However, the results demonstrate that signers show a strong effect of interference only in case of recall of words similar in sign, and no effect of similar sound, so we can conclude that there’s no phonological information involved in signers’ processing. An extended control study was also conducted to explore the contribution of the phonological loop in positional information encoding, since many theoretical explanations of the differences between STM of signers and speakers suggest that it’s the core structure for verbal information encoding for speakers. In this study the phonological loop was artificially blocked in speakers by means of adding articulatory suppression to the task of verbal stimuli memorizing and recall. However, the results of that study show that articulatory suppression leads participants to produce a greater rate of errors, but they use the same both-edges position encoding scheme, so we can conclude that the phonological loop doesn’t play a crucial role in serial order encoding scheme construction. We may have to search further for an intermediate problem of binding the elements of the input to serial position slots, that however exist in short term memory for signs as well as for spoken material, as it has been demonstrated by our studies.

Riassunto Lo span di memoria a breve termine (MBT), che corrisponde alla sequenza più lunga di elementi ricordati correttamente in un ordine specifico, rappresenta una misura della capacità di MBT ampiamente utilizzata. Lo span di MBT è più breve per il materiale in lingua dei segni rispetto al materiale in lingua parlata, è un risultato robusto che è stato confermato in diverse lingue e popolazioni utilizzando una varietà di paradigmi sperimentali. I tentativi di caratterizzare la fonte di differenze di span di MBT dovuti alla modalità di stimoli sono stati essenzialmente di due tipi. Alcuni hanno focalizzato la loro l'attenzione sulle differenze strutturali tra i segni e gli stimoli verbali, supponendo che i segni sono più complessi nella loro struttura interna e richiedono più carico di elaborazione per l'integrazione simultanea di diverse caratteristiche (movimento, orientamento, posizione, forma della mano) e la durata articolatoria più lunga. Mentre alcuni risultati mostrano evidenze a favore di questo approccio che assume differenze strutturali, ci sono altri risultati che dimostrano l’abbassamento di span di MBT anche quando i segni sono stati accuratamente abbinati e bilanciati rispetto agli stimoli verbali in durata, complessità, somiglianza ecc., e queste evidenze indeboliscono le ipotesi che assumono differenze strutturali come causa principale dello svantaggio osservato nello span per i segni. Un secondo tipo di approccio teorico si basa sull'ipotesi che lo span ridotto è proprio un effetto della modalità, derivante dalla maggiore capacità di MBT per codificare informazioni nell’ordine seriale nella modalità uditiva rispetto alla modalità visuo-spaziale. Il ruolo critico che questo secondo tipo di approcci assegnano alla codifica delle informazioni di ordine temporale è giustificato dai risultati che mostrano che quando il compito richiede di ricordare gli stimoli nell’ordine libero (free recall), senza l'obbligo di mantenere l’ordine di presentazione, lo span di MBT è comparabile tra le diverse modalità. I risultati di recall libero dimostrano capacità di codifica comparabili per segni e parlato, e anche i test di memoria di lavoro mostrano prestazioni confrontabili tra le diverse modalità. Quindi gli svantaggi per i segni sono limitati alla capacità di ricordare le sequenze di stimoli nell’ordine seriale, e questo rinforza l’ ipotesi che collega la capacità di MBT ridotta per i segni con la capacità di codificare le informazioni dell’ordine sequenziale. Il presente studio cerca di contribuire all’esplorazione dell'ipotesi dell’ordine sequenziale che associa lo span ridotto per i segni con dei limiti dei processi nella MBT visuospaziale nella codifica delle sequenze temporali. La ricerca ha messo in luce la questione delle rappresentazioni dell'ordine utilizzati nella MBT verbale, rivelando che in molti casi le posizioni sono codificati rispetto all’inizio e la fine della sequenza. La questione che ci poniamo nel presente studio è la fonte della riduzione di span per i segni, e, come primo passo, bisognerebbe capire se lo schema di rappresentazione della posizione per la codifica ordine in MBT è lo stesso per i segni e per il parlato. Possiamo esplorarlo identificando lo schema utilizzato per rappresentare la posizione degli elementi in una sequenza nella MBT per i segni e confrontandolo con i risultati precedenti ottenuti con la MBT per il parlato. Abbiamo esaminato gli errori di perseverazione che i parlanti della Lingua Italiana dei Segni producono in un compito di recall seriale ordinato che coinvolge i segni della lettera. Perseverazioni sono stati analizzati per determinare se i loro occorrenze riflettevano la codifica delle posizioni di serie rispetto a entrambi i bordi che caratterizza STM verbale. Nel principale esperimento del presente studio abbiamo presentato sequenze di consonanti di lingua dei segni italiana (LIS) ad un gruppo di 20 studenti sordi dell’Istituto Magarotto di Padova, una scuola specializzata in cui la comunicazione tra studenti e insegnanti è basata sulla LIS. Sequenze di segni di lunghezza da 4 a 7 consonanti sono stati presentati in ordine random sullo schermo del computer alla velocità di 1 segno per secondo. Alla fine di ogni sequenza, i partecipanti erano chiesti di ripetere i segni nell’ordine di presentazione. La lunghezza delle sequenze era spesso volutamente overspan in modo tale da generare errori. Abbiamo analizzato il pattern di errori di perseverazione con la stessa tecnica che ha usato Fischer-Baum (2010). I risultati hanno mostrato che, rispetto agli udenti, i partecipanti sordi hanno uno span di MBT ridotto, tuttavia, abbiamo trovato la conferma per la rappresentazione della posizione di un elemento della sequenza ancorata a due estremi della sequenza, suggerendo che lo stesso schema è utilizzato per rappresentare la posizione dei segni che per il materiale parlato. Un passo successivo era ripetere un esperimento con lo stesso paradigma sperimentale utilizzando parole e non le lettere come stimoli. I dati sono stati raccolti da 20 partecipanti. Tuttavia, in quel caso i partecipanti tendevano a produrre risposte della stessa lunghezza, che hanno reso impossibile distinguere tra diversi schemi di codifica di posizione. I dati ottenuti non sono stati sufficienti a trarre conclusioni definitive. Un aumento significativo della quantità di partecipanti avrebbe potuto risolvere questo problema, ma al momento non è stato possibile. C'era, però, un possibile bias: visto che i segnanti sordi sono comunque in grado di leggere e scrivere e hanno anche le competenze di lettura labiale, c'era una possibilità che alcune informazioni fonologiche potrebbero essere coinvolte nell’elaborazione del materiale verbale. Per controllare questo, abbiamo condotto uno studio con due gruppi di partecipanti: 20 segnanti (studenti dell'Istituto Magarotto) e 15 parlanti (studenti dell’Università di Padova). Abbiamo selezionato due gruppi di parole come stimoli sperimentali: parole simili in segno e simili il suono. Per il controllo abbiamo aggiunto due gruppi di parole corrispondenti, bilanciate alle parole sperimentali, ma dissimili tra di loro. Il compito era ricordare sequenze di 4 parole, dove la sequenza di 4 parole apparteneva a uno dei gruppi. Ci aspettavamo che se i segnanti usano informazioni fonologiche, allora le parole simili in suono avrebbero suscitato più interferenza portando alla prestazione peggiore che nel gruppo di controllo. Tuttavia, i risultati dimostrano che i segnanti dimostrano un forte effetto di interferenza solo in caso di parole simili in segno, e le parole simili in suono non elicitano nessun effetto. Allora possiamo concludere le informazioni fonologiche non sono coinvolte nell’elaborazione di stimoli segnati. Uno studio di controllo esteso è stato condotto per esplorare il contributo del loop fonologico nella codifica dell’informazione posizionale, visto che molte spiegazioni teoriche delle differenze tra MBT di segnanti e parlanti suggeriscono che è la struttura di base per la codifica dell’informazione verbale per i parlanti. In questo studio il loop fonologico dei parlanti è stato bloccato attraverso l'aggiunta di soppressione articolatoria al compito di memorizzazione di stimoli. I risultati dimostrano che la soppressione articolatoria porta i partecipanti a produrre un maggior numero di errori, ma, comunque, usano lo stesso schema di codifica di posizione seriale ancorata a due estremi della sequenza, quindi possiamo concludere che il loop fonologico non ha un ruolo importante nella costruzione dello schema di rappresentazione posizionale. We may have to search further for an intermediate problem of binding the elements of the input to serial position slots, that however exist in short term memory for signs as well as for spoken material, as it has been demonstrated by our studies. Quindi dovremmo cercare ulteriormente per un problema intermedio di collegamento di elementi dell’input ordinato alle posizioni rappresentate secondo lo schema ancorato a due estremi, lo schema, che comunque esiste anche nel caso dei segni, come abbiamo dimostrato, però si verifica più problematico il processo di posizionamento di elementi in questo schema.