Covert orienting of visuospatial attention in a brain-computer interface for communication

1. Introduction The multidisciplinary approach of using brain signals for directly controlling external devices, like computers or prosthesis, is named brain-computer interface (BCI). Farwell and Donchin (1988) showed that it is possible for humans to communicate using a BCI, by means of their event-related potentials (ERPs; e.g., P300), without the involvement of their voluntary muscle activity. The use of brain-wave-guided BCIs offered new perspectives regarding communication and control of devices for patients suffering from severe motor impairment or for patients who completely paralyzed, such as the patients affected by amyotrophic lateral sclerosis (ALS), in the latest stages of the illness. In the last two decades an important scientific and clinical challenge has been the development of efficient BCIs for ALS patients. Most of the progress in the field has been mainly concerned with algorithm improvement for better signal classification. In contrast, only few studies have addressed, to date, the role of cognitive mechanisms underlying the elicitation of brain-signals in BCIs. In the present study we investigated the possibility to modulate the brain signal and, by doing so, the performance of an ERP-guided BCI system, by designing and implementing three new interfaces in which participants were required to perform covert visuospatial attention orienting (Posner, 1980), in order to control the movement of a cursor on a monitor. 2. Experiment 1 The effects of covert visuospatial attention orienting within an ERP-guided BCI were tested on healthy participants. We compared the effectiveness of three visual interfaces, each of whom elicited different modalities of covert visuospatial attention orienting (exogenous vs. endogenous). Twelve adult participants performed 20 sessions, using the abovementioned ERP-guided BCI interfaces to control the movement of a cursor. Brain waves were recorded on each trial and were subsequently classified online, by means of an ad-hoc algorithm. Each time the target ERPs were correctly classified, the cursor moved towards the target position. The “endogenous” interface was associated with significantly higher performance than the other two interfaces during the testing sessions, but not in the follow-up sessions. Endogenous visuospatial attention orienting can be effectively implemented to increase the performance of ERP-guided BCIs. 3. Experiment 2 To investigate whether the findings reported in Experiment 1 depended on the used classification system, we performed an offline reclassification of the data of Experiment 1. The online analysis of the epochs was made via Independent Component Analysis (ICA), which, in turn, was followed by fixed features extraction and support vector machine (SVM) classification. The offline epochs analysis was performed by means of a genetic algorithm (GA), which permitted us to retrieve the relevant features of the signal to be classified, and then to categorise them with a logistic classifier. The offline analysis confirmed the advantages derived from the use of the “endogenous” interface. The performance-related findings were in line with those obtained in the neurophysiological data analysis. Nonetheless, epoch categorization was performed better with the GA algorithm than with the ICA: the higher mean and the smaller standard deviation of the classification performed with the GA seem to promise a possible improvement of the ERP-guided BCI also on online tests. 4. Experiment 3 On the basis of the results of Experiments 1 and 2, we tested the efficacy of two visual interfaces, each of whom elicited different modalities of covert visuospatial attention orienting (exogenous vs. endogenous), in ALS patients. Ten ALS patients performed 16 online sessions with each interface. Although the ALS patients had a performance of about 70% with both the interfaces, the endogenous interface elicited a larger difference on ERP potentials between target and non-target trials. These results supported the hypothesis that the use of the endogenous interface may offer a more efficient channel of communication for ALS patients with respect to the use of the exogenous interface. 5. Conclusions Neurological diseases that affect the motor system may impair communication abilities of patients, as in the case of amyotrophic lateral sclerosis. This pathology might evolve in the locked-in syndrome (LIS), a condition in which patients remain conscious but cannot move any of their muscles. For instance, they may become unable to express their opinions and decisions on important questions regarding their clinical treatment or their living and biological wills. The BCIs represent a potential solution to the communication problems of ALS-LIS patients. Despite the fact that more than 20 years have passed since the first published article on a P300-guided BCI, the effects of cognitive mechanisms (i.e., executive functions, attention, memory, etc.) involved in brain signal elicitation have not been investigated extensively. In the abovementioned experiments, we tested the effect of covert visuospatial attention orienting on an ERP-guided BCI, by comparing a number of visual interfaces, each of whom elicited a different modality of covert visuospatial attention orienting. Taken together, the results supported our main hypothesis: It is possible to modulate the performance of an ERP-guided BCI, by using endogenous or exogenous visuospatial attention orienting. Of particular relevance is the fact that our ALS patients were able to use endogenous visuospatial attention orienting and, by doing so, they could increase their performance in an ERP-guided BCI. We suggest that the study of covert visuospatial attention orienting is essential for developing efficient visual BCIs for patients who cannot control their eye movements. Implementing principles taken from cognitive psychology, may improve BCIs efficiency. This, in turn, can increase the benefits for patients with severe motor and communication disabilities. Finally, an efficient cognitive-based BCI may have the considerable ethical implication of “giving a voice” to CLIS-ALS patients

1. Introduzione Farwell e Donchin (1988) per primi hanno dimostrato la possibilità che l’uomo ha di comunicare usando i potenziali evento correlati (ERP; e.g., P300), senza bisogno di usare alcun muscolo per tale fine. Questa scoperta ha offerto nuove prospettive per la comunicazione ed il controllo di periferiche in pazienti affetti da gravi disabilità motorie o completamente paralizzati, come nel caso dei pazienti affetti da sclerosi laterale amiotrofica (SLA), negli stadi più avanzati di malattia. L’approccio multidisciplinare che consente di tradurre segnali cerebrali direttamente in comandi per controllare computer o protesi meccaniche è chiamato brain-computer interface (BCI). Negli ultimi vent’anni un’importante sfida scientifica è stata quella di sviluppare una BCI efficace, affinché potesse essere usata nella pratica clinica con i pazienti. I progressi più rilevanti fatti finora riguardano principalmente la registrazione e l’elaborazione dei segnali cerebrali, grazie ad algoritmi sempre più potenti ed efficaci nella categorizzazione dei biosegnali. Minore attenzione è stata posta, invece, nell’investigare il ruolo dei meccanismi cognitivi che sottendono l’uso di una BCI. Nel presente studio è stata indagata la potenzialità dei partecipanti di modulare specifiche onde cerebrali e, di conseguenza, l’efficacia di un sistema BCI guidato dagli ERP, attraverso l’uso di diversi processi di orientamento implicito dell’attenzione visuospaziale (Posner, 1980). A tale scopo sono state progettate e testate tre nuove interfacce visive per controllare il movimento di un cursore su un monitor. 2. Esperimento 1 Nel primo esperimento è stato testato l’effetto dell’orientamento implicito dell’attenzione visuospaziale in partecipanti sani, il cui scopo era di controllare il movimento di un cursore con una BCI guidata da ERP, per raggiungere specifici bersagli. È stato confrontato l’uso di tre interfacce, ciascuna delle quali prevedeva l’utilizzo di una specifica modalità dell’orientamento implicito dell’attenzione visuospaziale (esogeno vs. endogeno). Dodici partecipanti adulti hanno eseguito 20 sessioni, con ciascuna delle tre interfacce. Simultaneamente, gli ERP associati a ciascun trial di ogni interfaccia erano registrati e classificati da un algoritmo ad hoc. Ogni volta che gli ERP associati alla direzione della posizione bersaglio erano correttamente classificati, il cursore era mosso di un passo verso la posizione bersaglio. I partecipanti hanno ottenuto un’accuratezza migliore nel controllo del cursore con l’interfaccia che prevedeva l’orientamento endogeno dell’attenzione visuospaziale rispetto alle due interfacce che prevedevano l’orientamento esogeno. 3. Esperimento 2 Nel secondo studio è stata eseguita una classificazione offline degli ERP registrati nell’Esperimento 1, con lo scopo di verificare se gli effetti ottenuti nell’Esperimento 1 fossero indipendenti dal tipo di algoritmo di classificazione utilizzato. La classificazione online dei segnali cerebrali avveniva attraverso l’analisi delle componenti indipendenti (ICA), un’estrazione di 78 caratteristiche stabilite a priori del segnale, e la loro categorizzazione attraverso un algoritmo matematico di tipo lineare (support vector macchine: SVM). La riclassificazione offline è stata eseguita per mezzo di un algoritmo genetico (genetic algorithm: GA), che rilevava ad personam le caratteristiche significative del segnale, le quali, infine, venivano categorizzate attraverso un classificatore logistico. Il metodo di classificazione offline nell’Esperimento 2 ha confermato l’effetto ottenuto nell’Esperimento 1. Questi risultati sono stati confermati anche dalle analisi statistiche eseguite sui dati neurofisiologici. Inoltre, le medie di accuratezza più alte e la minore variabilità associate al sistema di classificazione offline sembrano offrire potenziali miglioramenti dell’efficacia dell’uso in tempo reale della nostra BCI. 4. Esperimento 3 Alla luce dei risultati riportati negli Esperimenti 1 e 2, è stata testata l’efficacia di un’interfaccia che prevedeva l’uso dell’orientamento esogeno dell’attenzione visuospaziale e di un’altra che prevedeva l’uso dell’orientamento endogeno, con pazienti affetti da SLA. Dieci pazienti con SLA hanno eseguito 16 sessioni con ciascuna delle due interfacce. Anche se i pazienti hanno ottenuto un’accuratezza di circa 70% con entrambe le interfacce, è stata registrata una maggior differenza tra gli ERP target e quelli non-target con l’uso dell’interfaccia “endogena”. Questi risultati supportano l’ipotesi che l’interfaccia che usa l’orientamento endogeno dell’attenzione visuospaziale consenta un miglior controllo del sistema BCI, con conseguenti vantaggi comunicativi per i pazienti affetti da SLA. 5. Conclusioni Le patologie neurologiche che colpiscono il sistema motorio possono intaccare i normali canali di comunicazione, come nel caso di pazienti affetti dal SLA. Questa malattia può sfociare nello stato denominato sindrome locked-in (LIS), una condizione clinica in cui i pazienti sono completamente paralizzati ma mantengono intatta la loro consapevolezza. Nella condizione di LIS, un paziente non può comunicare, non potendo così esprimere la propria opinione riguardo alle scelte etico-giuridiche legate alla sua condizione clinica. Le BCI rappresentano una potenziale soluzione ai problemi comunicativi dei pazienti nella LIS. Negli ultimi vent’anni di ricerca scientifica sulle BCI è stata rivolta grande attenzione alle componenti tecnologiche implicate nella registrazione del segnale cerebrale e nella sua classificazione in comandi per controllare specifiche periferiche. Viceversa, minor attenzione è stata posta alle caratteristiche dell’utente nell’utilizzo delle BCI, in particolar modo riguardo alle componenti cognitive coinvolte. Negli esperimenti riportati nella presente tesi, abbiamo testato l’efficacia di diverse interfacce, ciascuna delle quali utilizzava una specifica modalità dell’orientamento implicito dell’attenzione visuospaziale (endogena o esogena). I risultati di questi esperimenti supportano l’ipotesi che è possibile modulare l’efficacia di una BCI guidata da ERP attraverso l’implementazione di interfacce visive che utilizzano diversi principi dell’orientamento implicito dell’attenzione visuospaziale. Tale risultato è di particolare rilevanza dal punto di vista clinico per i pazienti affetti da SLA, negli stadi terminali di malattia, cioè quando entrano nella condizione clinica di LIS. In particolare nell’Esperimento 3 è riportato come l’ampiezza degli ERP sia diversamente modulata nelle due interfacce testate e questo fatto può giocare un ruolo rilevante nello sviluppo di un efficace sistema BCI che permetta la comunicazione a pazienti affetti da SLA nella condizione di completa LIS. I nostri risultati portano evidenze di come l’implementazione dei principi della psicologia cognitiva nello sviluppo di una BCI ne possano modulare l’efficacia, e questo a vantaggio dei pazienti affetti da gravi disabilità motorie. In conclusione, un’efficace applicazione dei principi cognitivi nello sviluppo delle BCI può avere l’effetto rilevante di “dare una voce” a pazienti in stato di completa LIS