The extrapolation of occluded motion: basic mechanism and application

Predicting the future states of moving objects that are hidden by an occluder for a brief period is of paramount importance to our ability to interact within a dynamic environment. This phenomenon is known as motion extrapolation (ME). Numerous gaps in the literature can be found disregarding the mechanisms involved in ME of which the current thesis attempts to address. Behavioural experiments usually utilize a prediction-of-motion paradigm, which requires participants to make a direct estimation of the time-to-contact (TTC). In this task, the initial trajectory of a target stimulus is presented, which then becomes occluded, observers are then asked to respond when they believe the target has reached a marked point behind that occluder without it ever actually reappearing (Tresilian, 1999; Rosenbaum, 1972). Alternatively, other experiments have adopted a timing discrimination task in which participants are required to indicate whether a moving target, following occlusion, reappears ‘early’ or ‘late’ (Makin, Poliakoff & El-Deredy, 2009; Makin, Poliakoff, Ackerley & El-Deredy, 2012). Experiments In the first part of this thesis, I investigated whether the visual memory system is active during the extrapolation of occluded motion and whether it reflects speed misperception due to the well-known illusion such as the apparent slower speed of low contrast object or large size object (Thompson 1982; Epstein 1978). Results revealed that with a TTC task observers estimate longer time to contact with low contrast and large stimuli compared to high contrast and small stimuli respectively. Note that the stimuli in both conditions are moving at equal speed. Therefore, the illusion of the apparent slower speed with low contrast and large stimuli remains in the visual memory system and influences motion extrapolation. Chapter III aims to investigate the interaction between real motion and motion extrapolation. Gilden and colleagues (1995) showed that motion adaptation affects TTC judgment showing that real motion detectors are somehow also involved during ME. A step further that I made was to investigate the effect of brief motion priming and adaptation, occurring at the earliest levels of the cortical visual streams, on time-to-contact (TTC) estimation of a target passing behind an occluder. By using different exposure times of directional motion presented in the occluder area prior to the target’s disappearance behind it, my aim was to modulate (prime or adapt) extrapolated motion of the invisible target, thus producing different TTC estimates. Results showed that longer (yet sub-second) exposures to motion in the same direction of the target produced late TTC estimates, whereas shorter exposures produced shorter TTC estimates, indicating that rapid forms of motion adaptation and motion priming affect extrapolated motion. My findings suggest that motion extrapolation might occur at the earliest levels of cortical processing of motion, where these rapid mechanisms of priming and adaptation take place. In Chapter IV of my thesis, I explore not only the visual factors of motion extrapolation, but also the timing mechanisms involved and their electrophysiological correlates. The first question is whether the temporal processing is required for accurate ME, and whether this is indexed by neural activity of the Contingent Negative Variation (CNV). A second question is, whether there is a specific electrophysiological correlates that highlight the shifting from real motion perception to motion extrapolation. In this electroencephalographic experiment, participants were adapted with a moving texture (Gilden et al., 1995). The adaptation with the moving texture could bias and modify temporal processing. Participants made a direct estimation of Time to Contact, which showed that classic adaptations were able to bias temporal judgments and modulate the amplitude of the CNV, suggesting a complex feedforward-feedback network between low- and high level cortical mechanisms. Finally, a negative defection (N190) was found, for the first time, as a neurophysiological correlate in the temporal-occipital electrodes in the right and left hemisphere for the rightwards and leftwards ME respectively, indicating the involvement of motion mechanisms of intermediate cortical level in ME. Chapter V aims to show at distinguishing between extrapolation, and interpolation of occluded motion. Extrapolation is the ability to extract the trajectory, speed and direction of a moving target that becomes hidden by an occluder, thanks to the information extracted from the visible trajectory. Interpolation is a similar phenomenon, i.e. from the visible trajectory one can extract speed and direction as in Extrapolation. The main difference is that for interpolate visible cue are needed along the invisible trajectory. If the occluder is invisible and the occluded trajectory is symmetrical respect to a visible cue, one can connect these cues (spatial points) in order to form a spatio-temporal map and infer where and when the target will reappear. This is not possible in absence of visible cues such as in extrapolation condition. In a new task, observers were required to press a button as fast as possible (reaction time) when they saw a moving target reappearing from an invisible occluder. Results showed that observers could even anticipate the reappearance of an object moving behind the occluder. However, only in some circumstances: i) when the occluder was not positioned over the blind spot but in retinal areas that project to the visual cortex; ii) with an entirely invisible occluder the visible motion before occlusion had to be presented and iii) visual-spatial cues had to signal the center of the invisible trajectory. When these conditions are given, observers can use the spatial information given by the point of disappearance, the visible cue that represented the center of the invisible trajectory, then infer the point of reappearance by symmetry. Therefore having a set of discrete spatial positions (and its cortical representation) in which the moving occluded target will be in a certain moment of time, it is convenient to interpolate this point in order to create a spatio-temporal map to infer where and when the object will be (saliency map). I consider this process of motion interpolation as an amodal filling-in process. The last part of my thesis involved a practical application of ME. Participants cannot interpolate when the moving target passes in a zone over retinal areas that do not project to the visual cortex (blind spot). In this case, observers perform a true reaction time and do not anticipate the response. Patients with Macular Degeneration cannot see with their fovea since it is damaged. Therefore, that part of the retina does not project to the visual cortex anymore. In a task in which they have to press a response button when a moving target disappear into or reappear from their scotoma, we predict that they cannot anticipate the response to the reappearance of the target. Five patients with macular degeneration were therefore instructed to press a button when they see a moving target disappear into and reappear from their scotoma. Patients repeated this task several times with different linear trajectories of the target. Connecting the point in space in which a patient presses the button, it was possible to draw the shape and the size of the scotoma with a software. The size of the scomota found with this experiment was compared with that measured with a Nidek MP-1. A linear correlation of R2 about of 0.8 was found between the Nidek MP-1 and scotoma measured connecting the point in which patients reported to see the target reappear from their scotoma. Therefore, this software which was written by me (considering its limits) may become a useful tool to obtain a reliable perimetry in a given situation in which an expensive machine such as the MP-1 is not available.

Predire la futura posizione di un oggetto in movimento che viene nascosto per un breve periodo di tempo è molto importante per interagire con le numerose variabili dinamiche del nostro mondo circostante. Per predire quando questo oggetto riapparirà alla nostra vista è necessario estrapolarne il movimento (motion extrapolation, ME) durante il periodo in cui non è visibile. Ci sono molte lacune in letteratura riguardo i meccanismi sottostanti a questa apparentemente semplice operazione e questa tesi mira proprio allo studio di questi. Esperimenti comportamentali solitamente utilizzano un compito in cui si chiede ai partecipanti di premere un tasto quando ritengono che un oggetto in movimento, che viene nascosto da un occlusore durante la parte finale del suo percorso, abbia raggiunto una certa posizione spaziale indicata da un indizio. L’istruzione più comune data ai partecipanti è quella di fare una stima del tempo di contatto fra l’oggetto target e l’indizio (time to contact, TTC) (Tresilian, 1999; Rosenbaum, 1972). In questo tipo di esperimento il target non ricompare mai. Un altro paradigma è quello di chiedere ai soggetti di riportare se un target, che viene nascosto per un periodo di tempo più o meno lungo, ricompare in tempo, o in anticipo, o in ritardo rispetto a quanto atteso dai partecipanti nel caso in cui il target mantenesse un moto rettilineo uniforme (Makin, Poliakoff & El-Deredy, 2009; Makin, Poliakoff, Ackerley & El-Deredy, 2012). Esperimenti Nella prima parte di questa tesi (Capitolo II), sono andato ad investigare il ruolo che assume il sistema di memoria visiva durante l’estrapolazione di movimento. Inoltre mi sono chiesto se le illusioni che modificano la percezione di velocità interferiscano con l’estrapolazione di movimento andando a modificare la stima del tempo di contatto di due target con differente velocità esperita, ma stessa velocità fisica. La velocità percepita di un oggetto veniva modificata cambiando il contrasto o la dimensione degli oggetti (Thompson, 1972; Epstein 1978). I risultati mostrano come in un compito di stima del tempo di contatto i partecipanti stimino un tempo di contatto più lungo quando la velocità percepita viene diminuita e un tempo di contatto più corto quando la velocità percepita è aumentata nonostante la velocità fisica sia sempre la stessa. Pertanto l’illusione di velocità viene mantenuta nel sistema di memoria visiva influenzando la stima del tempo di contatto. Il Capitolo III, prende in esame la relazione fra movimento reale e movimento estrapolato. Gilden e colleghi (1995) hanno mostrato come un adattamento visivo abbia un effetto sul giudizio della stima del tempo di contatto. Un ulteriore passo rispetto a questa ricerca è stato indagare se anche effetti di adattamento e priming rapidi possano influire sul giudizio del TTC. Adattamento e priming visivo rapidi avvengono a livelli corticali di elaborazione molto precoci, e se questi hanno un effetto sul TTC è ragionevole pensare per estensione che il movimento estrapolato possa essere elaborato anch’esso (o almeno in parte) a questi livelli. Ai partecipanti che hanno preso parte a questo esperimento veniva mostrato nella stessa regione retinica dove successivamente il target veniva occluso, uno stimolo di adattamento lungo (600ms) o uno stimolo di adattamento breve (80ms) costituito da una tessitura che si muoveva o nella stessa direzione del target o nella direzione opposta. I risultati mostrano come un adattamento lungo nella stessa direzione del target produca una stima maggiore del TTC (similmente ad un motion aftereffect), mentre un adattamento breve produca una sottostima (similmente ad un effetto di priming). Questo indica che l’estrapolazione del movimento possa essere processato (almeno parzialmente) addirittura ai primi livelli dell’elaborazione visiva del movimento dove i meccanismi di priming e adattamento rapidi vengono computati. Il Capitolo IV della mia tesi esplora non solo i fattori visivi del movimento estrapolato ma anche l’elaborazione temporale. Una prima questione è se l’elaborazione temporale in un compito TTC possa essere descritto da una componente elettrofisiologica come la CNV. Una seconda questione è trovare correlati elettrofisiologici per l’estrapolazione del movimento. I partecipanti che prendevano parte all’esperimento venivano adattati con una tessitura in movimento usando la stessa procedura usata da Gilden e colleghi (1995) mentre l’attività elettrocorticale veniva registrata. L’adattamento produceva un bias nella stima del tempo di contatto e la direzione dell’adattamento modulava l’ampiezza della CNV. Infine una deflessione negativa (N190) è stata trovata negli elettrodi temporo-occipitali come indice dell’estrapolazione del movimento. Questi risultati mostrano come durante un compito di TTC, l’elaborazione temporale sia evidenziata e descritta dalla componente CNV, e come questa componente possa essere modulata da un adattamento visivo di movimento. Inoltre la N190 trovata in questo studio potrebbe essere un marker dell’attivazione dei meccanismi alla base dell’estrapolazione del movimento. Nel Capitolo V, l’obiettivo è stato quello di distinguere tra “estrapolazione” e “interpolazione” del movimento invisibile. L’estrapolazione è la capacità di estrarre la traiettoria, velocità, direzione e inferire approssimativamente la posizione di un oggetto in movimento non più visibile, perché nascosto da un occlusore, grazie alle informazioni presentate durante il suo percorso visibile. L’interpolazione è concetto molto simile al precedente, quindi anche in questo caso grazie al movimento visibile si può estrarre la traiettoria, velocità e direzione dell’oggetto nascosto da un occlusore. La sostanziale differenza è che per interpolare sono necessari degli indizi visivi posizionati lungo la traiettoria invisibile. Se l’occlusore è invisibile e la traiettoria è simmetrica rispetto a uno di questi indizi spaziali, è possibile unire questi indizi (punti) in una mappa spazio-temporale e inferire dove e quando l’oggetto ricomparirà, cosa non possibile in assenza di indizi spaziali e quindi nella condizione di sola estrapolazione. In un nuovo tipo di compito i partecipanti all’esperimento dovevano premere un tasto il più velocemente possibile, quando vedevano ricomparire un target in movimento rettilineo uniforme che veniva nascosto da un occlusore per un certo periodo di tempo. I risultati mostrano che è possibile addirittura anticipare la ricomparsa del target. Infatti talvolta i partecipanti premevano il tasto di risposta qualche centesimo di secondo prima che il target effettivamente ricomparisse. Questo però era possibile solo in alcune circostanze: 1) l’occlusore non doveva essere messo nella zona in cui è presente la macchia cieca, dove non ci sono proiezioni alla corteccia, 2) doveva esserci il movimento visibile (traiettoria visibile) del target prima della scomparsa e 3) quando l’occlusore era totalmente invisibile un indizio visivo, come la croce di fissazione, doveva essere presentato per indicare la parte centrale della traiettoria invisibile. Quando queste condizioni erano presenti, i partecipanti potevano usare l’informazione spaziale data dal punto di scomparsa e dalla croce di fissazione che indicava il centro della traiettoria invisibile, per inferire per simmetria il punto di ricomparsa dello stimolo. Quindi, avendo a disposizione un set di punti discreti nello spazio sui quali stimare in quale momento il target li avrebbe attraversati, i partecipanti probabilmente interpolavano questi punti in una mappa spazio-temporale per inferire dove e quando il target riappariva. Questo processo di interpolazione di movimento è considerato come un processo di filling-in amodale. L’ultima parte della mia tesi coinvolge un’applicazione pratica dell’estrapolazione del movimento. Nel capitolo V, viene mostrato come sia impossibile interpolare quando l’occlusore è posto sopra la macchia cieca e quando mancano indizi che nella traiettoria invisibile. In questo caso infatti i partecipanti rispondevano con un vero tempo di reazione e non anticipavano la risposta. Pazienti con maculopatia degenerativa non possono vedere con la loro fovea dal momento che è danneggiata. Pertanto non hanno più proiezioni di questa zona retinica alla corteccia. In un compito in cui viene chiesto di premere un tasto di risposta quando un oggetto scompare nel loro scotoma o riappare dal loro scotoma è quindi improbabile che riescano ad anticipare la risposta usando un meccanismo di interpolazione. È stato condotto un esperimento in cui cinque soggetti con maculopatia degenerativa dovevano appunto rispondere il più velocemente possibile quando un pallino in movimento scompariva dentro il loro scotoma e premere di nuovo lo stesso tasto quando questo ricompariva dal loro scotoma. I partecipanti ripetevano questo tipo di compito per numerose traiettorie (lineari) del pallino. Unendo i punti nello spazio in cui il paziente riportava di non vedere o di vedere nuovamente il target, un programma al computer riproduceva forma e dimensioni dello scotoma. Lo scotoma trovato veniva poi confrontato con quello ottenuto con la microperimetria Nidek-MP1. Una correlazione lineare con un R2 di circa 0.8 è stata trovata nella misurazione dello scotoma con la Nidek-MP1 e lo scotoma misurato con quest’ultimo esperimento unendo i punti nello spazio in cui i pazienti vedevano ricomparire il pallino. Pertanto questo programma molto semplice potrà nel futuro essere usato per misurare la dimensione di uno scotoma quando apparecchiature costose e complesse come la Nidek-MP1 non sono disponibili.