The Behavior-Driven Observation. Definition and development of an adaptive observational assessment

The observation in psychological assessment provides clinicians with a variety of useful insights about the symptoms of mental disorders. Nonetheless, the application of observational instruments has decreased during the last years, mainly due to their administration complexity and time consumption. A consequence of this general reduction in application is that some innovations fruitfully applied by other psychological assessment instruments, such as the self-reports, are still unexplored. For instance, little focus has been put on the possibility of implementing observational measures with adaptive algorithms. In observational assessment, these algorithms have been applied only by some software developed for observers training; their implementation in observational assessment instruments is still an open challenge. The aim of the present Ph.D. project is to develop an observational adaptive instrument able to help clinicians to generate accurate behavioral response patterns reducing, simultaneously, the time of the observational assessment. The definition of such an instrument has been a sequential process that started from a deep analysis of the items that should be observed, followed by the consideration of how to observe each of them. These first issues were accounted in Chapter 1, in which an overview of the literature was performed in order to examine all the features necessary to adequately conduct an observational assessment. A specific attention was dedicated on the possible biases that could affect raters, leading to higher probabilities of false positive and negatives on the observed behaviors. Finally, the state of the art relative to the application of adaptive algorithms in observational assessments was introduced and discussed. The second step toward the definition of the expected instrument consisted in defining a non adaptive checklist evaluating the behaviors of a mental disorder, possibly based on a formal methodology. In Chapter 2, the Formal Psychological Assessment (FPA) was introduced, describing its deterministic and probabilistic features. FPA is a methodology allowing to define assessment instruments starting from the relation between a set of items and a set of clinical issues of a disorder. In Chapter's end, it was shown how FPA could be extended also to observational assessment composed by multiple measures. In Chapter 3, the FPA was applied to develop the paper-and-pencil version of the final checklist. The negative symptomatology of schizophrenia was selected as the target mental disorder. A set of 138 items describing nonverbal behaviors was selected from instruments frequently used in the evaluation of schizophrenia. This list was then mapped to a list of 14 negative symptoms, selected in both scientific literature and DSM-5. The application of formal and logical steps provided by FPA led to a final checklist of 22 items, divided into two subscales, exhaustively investigating the 14 negative symptoms. In particular, it emerged how the mapping between items and investigated symptoms defined a deterministic model of assessment in which the clinician could be informed not only of which negative symptoms are evaluated by each item, but also of the relations among items. This model of assessment was later validated, in order to convert it into a probabilistic model that would have been correctly implemented into an adaptive instrument. In Chapter 4, the validation procedure is described. 172 videos of clinical interviews were observed by two independent raters, who filled the new checklist during one-zero sampling observations and generated modal response patterns for both subscales. Such patterns were used to apply the Basic local Independence Model (BLIM), a probabilistic model allowing to estimate the global fit indexes of the checklist and the false positive and negative rates for each item. Results showed adequate fit indexes for both subscales of the checklist with acceptable error rates for each item, which were extremely low especially in respect to false positive rates. The obtained probabilistic model of assessment and its parameters estimates were then used to calibrate an observational adaptive algorithm. In Chapter 5, the first version of the Behavior-Driven Observation (BDO) was introduced, namely the adaptive observational checklist proposed by the present project. After its formulation, the BDO was tested on real data by a simulation study in which both its accuracy and efficiency were examined. Results showed how the BDO algorithm was able to accurately reproduce almost all the non adaptive response patterns, with an average reduction by 38% of suggested items to complete the entire assessment. Finally, the accuracy and the efficiency of the BDO were tested during real observations, in order to understand if the BDO led to accurately replicate the non adaptive response patterns when used by human raters, with similar savings in terms of efficiency. Two independent trained raters observed twice the videos of twenty patients with a diagnosis of schizophrenia with negative symptoms, filling the two checklist's versions during observations. The observations on the same patient were far one week from each other. A very good intra-rater agreement emerged for each rater, suggesting both a good coherence over time of raters and a good ability of the BDO to replicate the response patterns of its non adaptive counterpart. Likewise, encouraging results were found in regard to BDO's efficiency: The savings in terms of suggested items were the same of the simulation study, for each rater; moreover, such savings corresponded to a reduction of the observational time. Taken together, the results of this Ph.D. project suggest that is possible to define an adaptive observational checklist able to help clinician to collect information not otherwise detectable with other assessment modalities. The BDO, in fact, could guide the observation by suggesting which behavior should be observed, taking into account the false positive/negative rates for each behavior. In this way, the accuracy of the final clinical output is increased as well as the efficiency of its generation. Such a clinical output could provide clinicians with a comprehensive set of information, such as the precise response pattern observed during the observation, the most plausible symptoms related to that response pattern and their probability values. All this information, in turn, can be finally integrated with other ones collected from different assessment instruments (e.g., interview, self-report), in order to have a broader frame of patient's condition and, maybe, set an individualized treatment.

L’osservazione in psicologia può fornire al clinico molte informazioni utili riguardo i sintomi di una specifica psicopatologia. Tuttavia, l’utilizzo di strumenti osservativi sembra essere diminuito negli ultimi anni, sia a causa della loro complessità di somministrazione, sia per il tempo di compilazione che questi strumenti richiedono. Una conseguenza di questo diminuito utilizzo è l’impossibilità di raggiungere alcune innovazioni che sono state ottenute con altri strumenti psicodiagnostici, come nel caso dei self-report. Per esempio, la possibilità di implementare gli strumenti osservativi con algoritmi adattivi è tuttora inesplorata. Il presente progetto di dottorato si propone lo scopo di sviluppare uno strumento osservazionale computerizzato e adattivo che sia in grado di fornire ai clinici dei pattern comportamentali accurati in tempi ragionevolmente ridotti. La definizione di tale strumento può essere intesa come una procedura sequenziale che inizia da una profonda analisi su quali comportamenti osservare e su come osservarli. Nel Capitolo 1 si propone una disamina della letteratura concernente l’osservazione, concentrandosi su tutte le caratteristiche necessarie per definire e successivamente condurre un’adeguata osservazione. Particolare attenzione viene posta sui possibili biases che possono incorrere negli osservatori, portandoli a commettere dei falsi positivi e negativi su ciò che osservano. Infine, si prende in esame lo stato dell’arte relativo all’applicazione di algoritmi adattivi nell’assessment osservativo. Il secondo step verso la definizione dello strumento proposto consiste nel definire una checklist non adattiva che valuti i comportamenti di una determinata psicopatologia, possibilmente costruita su una metodologia formale. A tal fine, nel Capitolo 2 viene introdotto il Formal Psychological Assessment nei suoi aspetti deterministici e probabilistici. L’FPA è una metodologia formale in grado aiutare i ricercatori a definire strumenti di valutazione a partire dalle relazioni tra insiemi di item appartenenti a strumenti di valutazione e sintomi di psicopatologie. Nella parte finale del capitolo, viene discusso come sia possibile applicare l’FPA anche negli assessment osservativi caratterizzati da osservazioni multiple. Nel Capitolo 3, l’FPA viene applicato per definire una versione finale e non adattiva della checklist che possa valutare il comportamento non verbale relativo ai sintomi negativi della schizofrenia. Punto di partenza è una lista di 138 items che descrivono comportamenti non verbali, estratta da strumenti di valutazione spesso utilizzati con pazienti presentano sintomi psicotici. Tale lista è stata associata ad una lista di 14 sintomi negativi, selezionati dalla letteratura scientifica sul tema e dal DSM-5. Attraverso una serie di passaggi formali, è stata poi definita una lista finale di 22 item (suddivisi in due sottoscale) indaganti tutti i 14 sintomi negativi. L’associazione tra item e sintomi ha permesso di definire un modello di valutazione deterministico attraverso cui il clinico possa studiare non solo quali sintomi negativi sono indagati da ciascun item, ma anche quali sono le relazioni tra gli item stessi. Nel Capitolo 4 viene descritta la procedura di validazione della nuova checklist. 172 video contenenti interviste cliniche sono stati osservati da due valutatori indipendenti, che hanno compilato la checklist durante osservazioni multiple. I pattern di risposta modali generati da ogni serie di osservazioni multiple per ogni paziente sono poi stati testati con il Basic Loca Independence Model, un modello probabilistico che permette di stimare il fit globale di uno strumento ai dati e i parametri di errore per ogni item che lo compongono. I risultati hanno mostrato un fit adeguato per ognuna delle due sottoscale della checkilist, con parametri di errore bassi o medi per tutti gli item. I parametri di errore sono stati poi utilizzati per implementare la versione adattiva della checklist. Nel capitolo 5, infatti, vene introdotta la Behavior-Driven Observation (BDO), ossia la checklist computerizzata adattiva proposta in questo progetto di dottorato. Dopo una dettagliata spiegazione degli elementi che la compongono, la BDO viene testata attraverso uno studio di simulazione: in particolare, i pattern di risposta modali utilizzati per validare la checklist non adattiva sono stati simulati dall’algoritmo che sottende la BDO, al fine di testare sia la sua efficacia che la sia efficienza. I risultati hanno mostrato come l’algoritmo sia stato in grado di riprodurre la quasi totalità dei pattern di risposta non adattivi, completando l’assessment suggerendo il 38% di comportamenti in meno. Infine, la BDO è stata testata anche durante osservazioni dal vivo, al fine di comprendere se possa accuratamente replicare pattern di risposta non adattivi anche con valutatori umani. A tal fine, due valutatori indipendenti hanno osservato per due volte i video di 20 pazienti con diagnosi di schizofrenia, compilando sia BDO anche nella sua versione non adattiva. Le osservazioni su ogni paziente erano distanti una settimana. Un buon accordo interno è emerso per entrambi i valutatori, i quali hanno mostrato una buona coerenza interna nel tempo. Tale risultato ha mostrato, inoltre, come la BDO sia in grado di ottenere risultati comparabili alla sua versione non adattiva anche durante osservazioni reali e non simulate. Risultati incoraggianti sono emersi anche in termini di efficienza: il risparmio di item suggeriti dalla procedura si è rivelato essere il medesimo di quello ottenuto nello studio di simulazione, collegato ad una riduzione del tempo di valutazione. In conclusione, i risultati di questo progetto di dottorato suggeriscono come sia possibile sviluppare una checklist osservazionale adattiva, che possa aiutare i clinici nel collezionare informazioni che non possono essere collezionate mediante altri strumenti di valutazione. La BDO, infatti, potrebbe guidare il clinico, suggerendo quale comportamento osservare. Tale suggerimento risulterebbe essere molto accurato, dal momento che il rischio di commettere un errore su ogni item viene già calcolato dall’algoritmo che sottende la BDO. In questo modo, è possibile avere una consistente accuratezza sull’output clinico finale, generato anche in modo efficiente. Questo output clinico non consisterebbe in un punteggio meramente numerico, ma conterrebbe diverse informazioni, come l’intero pattern di risposta del paziente, l’insieme di sintomi più plausibile dato quel pattern ed, in aggiunta, le probabilità di osservare tali sintomi. Tutte queste informazioni, a loro volta, possono essere integrate con quelle raccolte mediante altre modalità di assessment (interviste, self-report) al fine di ottenere un quadro più ampio della condizione del paziente. In questo modo, si potrà definire un piano terapeutico individualizzato che tratti in maniera mirata quei sintomi, migliorando il processo di cura e riducendo, nel contempo, i costi dello stesso.