Event Detection in Eye-Tracking Data for Use in Applications with Dynamic Stimuli

Abstract

This doctoral thesis has signal processing of eye-tracking data as its main theme. An eye-tracker is a tool used for estimation of the point where one is looking. Automatic algorithms for classification of different types of eye movements, so called events, form the basis for relating the eye-tracking data to cognitive processes during, e.g., reading a text or watching a movie. The problems with the algorithms available today are that there are few algorithms that can handle detection of events during dynamic stimuli and that there is no standardized procedure for how to evaluate the algorithms.



This thesis comprises an introduction and four papers describing methods for detection of the most common types of eye movements in eye-tracking data and strategies for evaluation of such methods. The most common types of eye movements are fixations, saccades, and smooth pursuit movements. In addition to these eye movements, the event post-saccadic oscillations, (PSO), is considered. The eye-tracking data in this thesis are recorded using both high- and low-speed eye-trackers.



The first paper presents a method for detection of saccades and PSO. The saccades are detected using the acceleration signal and three specialized criteria based on directional information. In order to detect PSO, the interval after each saccade is modeled and the parameters of the model are used to determine whether PSO are present or not. The algorithm was evaluated by comparing the detection results to manual annotations and to the detection results of the most recent PSO detection algorithm. The results show that the algorithm is in good agreement with annotations, and has better performance than the compared algorithm.



In the second paper, a method for separation of fixations and smooth pursuit movements is proposed. In the intervals between the detected saccades/PSO, the algorithm uses different spatial scales of the position signal in order to separate between the two types of eye movements. The algorithm is evaluated by computing five different performance measures, showing both general and detailed aspects of the discrimination performance. The performance of the algorithm is compared to the performance of a velocity and dispersion based algorithm, (I-VDT), to the performance of an algorithm based on principle component analysis, (I-PCA), and to manual annotations by two experts. The results show that the proposed algorithm performs considerably better than the compared algorithms.



In the third paper, a method based on eye-tracking signals from both eyes is proposed for improved separation of fixations and smooth pursuit movements. The method utilizes directional clustering of the eye-tracking signals in combination with binary filters taking both temporal and spatial aspects of the eye-tracking signal into account. The performance of the method is evaluated using a novel evaluation strategy based on automatically detected moving objects in the video stimuli. The results show that the use of binocular information for separation of fixations and smooth pursuit movements is advantageous in static stimuli, without impairing the algorithm's ability to detect smooth pursuit movements in video and moving dot stimuli.



The three first papers in this thesis are based on eye-tracking signals recorded using a stationary eye-tracker, while the fourth paper uses eye-tracking signals recorded using a mobile eye-tracker. In mobile eye-tracking, the user is allowed to move the head and the body, which affects the recorded data. In the fourth paper, a method for compensation of head movements using an inertial measurement unit, (IMU), combined with an event detector for lower sampling rate data is proposed. The event detection is performed by combining information from the eye-tracking signals with information about objects extracted from the scene video of the mobile eye-tracker. The results show that by introducing head movement compensation and information about detected objects in the scene video in the event detector, improved classification can be achieved.



In summary, this thesis proposes an entire methodological framework for robust event detection which performs better than previous methods when analyzing eye-tracking signals recorded during dynamic stimuli, and also provides a methodology for performance evaluation of event detection algorithms.

Abstract (Swedish)

Popular Abstract in Swedish

Det sägs att ögonen är själens spegel och att man genom att titta på någons ögon kan säga något om personens sinnesstämning och hur personen mår. Forskning kring ögonrörelser har visat att man genom att mäta ögats rörelser kan tolka hur den visuella informationen som vi tar in genom ögonen har behandlats. Eftersom det är hjärnan som styr muskulaturen runt ögat som i sin tur kontrollerar ögats rörelser, så kan man genom att studera ögonrörelser dra slutsatser om hjärnans funktion i de delar som styr ögats muskler. Ögonrörelser mäts idag genom att en videokamera filmar ögat och med hjälp av bildbehandling skattas blickens position. En sådan utrustning kallas för en eye-tracker eller ögonrörelsemätare. Idag används ögonrörelsemätare bland annat för att analysera relationen mellan våra ögonrörelser och motsvarande kognitiva processer i hjärnan, till exempel då vi läser en text. För att kunna analysera och förstå denna relation behöver den inspelade ögonrörelsesignalen delas in i olika typer av ögonrörelser. De vanligaste typerna av ögonrörelser är fixeringar, sackader, och mjuka följerörelser. Problemet med nuvarande metoder för klassificering av ögonrörelser är att de oftast är utvecklade för att användas till signaler som är inspelade när en person tittar på statiska bilder, vilket medför att metoderna inte kan hantera mjuka följerörelser. Dessutom saknas standardiserade metoder för att jämföra och utvärdera existerande metoder.



Denna avhandling handlar om att utveckla metoder för att dela upp och klassificera segment av den inspelade ögonrörelsesignalen i de vanligaste typerna av ögonrörelser oberoende av vilken typ av stimuli som har använts vid inspelningen. Avhandlingen behandlar även olika sätt att utvärdera metoder för klassificering av ögonrörelser. I det första arbetet har en metod utvecklats för att klassificera sackader i signaler som är inspelade när personer tittar både på bilder och rörliga videoklipp. Förutom sackader, så klassificeras även så kallade post-sackadiska oscillationer (PSO), som är snabba oscillerande rörelser som följer direkt efter vissa sackader. PSO ses ofta som en störning och om de är ögonrörelser eller inte är fortfarande inte helt klarlagt. Denna nya metod gör det möjligt att studera sackader i signaler som är inspelade under rörliga videoklipp, där tidigare metoder haft problem att hitta och avgränsa sackader.



I det andra arbetet har en metod utvecklats som delar upp intervallen mellan de detekterade sackaderna och möjliga PSO i fixeringar och mjuka följerörelser. För att separera de två typerna av rörelser beräknas signalens spatiala utbredning och riktning i både långa och korta tidsskalor. Metodens prestanda utvärderas med fem olika mått som beskriver både generell och detaljerad prestanda för klassificeringen.



Ofta vid inspelning av ögonrörelser spelas signaler från båda ögonen in, men det finns få algoritmer som drar nytta av informationen från båda ögonen. I det tredje arbetet har en metod utvecklats som använder signaler från båda ögonen för att bättre kunna separera mjuka följerörelser från fixeringar. Genom att använda signalerna från båda ögonen kan synkroniseringen mellan ögonen studeras och motverka att drift under fixeringar blir felaktigt klassificerade som mjuka följerörelser. Utöver en ny metod för klassificering av ögonrörelser föreslås i det tredje arbetet även en ny utvärderingsmetod. Utvärderingsmetoden baseras på automatiskt detekterade rörliga objekt i de videoklipp som används vid inspelningen av ögonrörelserna. Genom att jämföra tidpunkter då ögat rör sig samstämmigt med något rörligt objektet kan mjuk följerörelse utvärderas utan att tidskrävande manuella annoteringar behöver användas.



I de tre första arbetena används en stationär ögonrörelsemätare med hög samplingsfrekvens. I det fjärde arbetet används istället en mobil ögonrörelsemätare i form av ett par glasögon. När en mobil ögonrörelsemätare används kan personen fritt röra huvudet. I det fjärde arbetet har därför en metod utvecklats för att kompensera för huvudrörelser i den inspelade ögonrörelsesignalen. Huvudrörelserna mäts med hjälpa av en sensor (IMU) som placeras på personens huvud och skattar dess orientering. Den kompenserade ögonrörelsesignalen används sedan tillsammans med automatiskt detekterade objekt från scenvideon för att detektera sackader, fixeringar, och mjuka följerörelser.



Totalt utgör de fyra delarna i avhandlingen en metodplattform för robust detektering av olika typer av ögonrörelser vid dynamisk stimulus, dvs. när man tittar på rörliga bilder eller en rörlig scen. I plattformen ingår även metoder för utvärdering av algoritmerna som är oberoende av om en stationär eller en mobil ögonrörelsemätare har använts.

• author: Larsson, Linnéa
• supervisor: Martin Stridh; Marcus Nyström
• opponent: Prof. Pelz, Jeff, Rochester Institute of Technology
• organization: eSSENCE: The e-Science Collaboration; Department of Biomedical Engineering
• publishing date: 2016
• type: Thesis
• publication status: published
• subject: Signal Processing
• pages: 211 pages
• defense location: Lecture hall E:1406, building E, Ole Römers väg 3, Lund University, Faculty of Engineering LTH, Lund
• defense date: 2016-03-04 10:15:00
• language: English
• LU publication?: yes
• id: a9c96447-52fa-4b52-9f0f-8ae1222906be (old id 8600501)
• date added to LUP: 2016-04-04 13:44:08
• date last changed: 2019-09-23 12:45:53