Comparison between gaze and moving objects in videos for smooth pursuit eye movement evaluation

Abstract

When viewing moving objects in videos the movement of the eyes is called
smooth pursuit. For evaluating the relationship of eye tracking data to the
moving objects, the objects in the videos need to be detected and tracked.
In the first part of this thesis, a method for detecting and tracking of moving
objects in videos is developed. The method mainly consists of a modified
version of the Gaussian mixture model, The Tracking feature point method,
a modified version of the Mean shift algorithm, Matlabs function bwlabel
and a set of new developed methods. The performance of the method is
highest when the background is static and the objects differ in colour from the
background. The false detection rate increases, when the video environment
becomes more dynamic and complex. In the second part of this thesis the
distance between the point of gaze and the moving objects centre point is
calculated. The eyes may not always follow the centre position of an object,
but rather some other part of the object. Therefore, the method gives more
satisfactory result when the objects are small.

Popular Abstract (Swedish)

Utvärdering av smooth pursuit-rörelser. En jämförelse mellan ögonrörelser och
rörliga objekt i videosekvenser
Populärvetenskaplig sammanfattning av examensarbetet:
Andrea Åkerström
Ett forskningsområde som har vuxit mycket de senaste åren är ”eye tracking”: en teknik för att
undersöka ögonrörelser. Tekniken har visat sig intressant för studier inom exempelvis visuella
system, i psykologi och i interaktioner mellan datorer och människor. Ett eye tracking system
mäter ögonens rörelser så att de punkterna ögat tittar på kan bli estimerade. Tidigare har de flesta
studier inom eye tracking baserats på bilder, men på senare tid har även intresset för att studera
filmsekvenser vuxit.
Den typ av rörelse som ögat utför när det följer ett rörligt objekt kallas för smooth pursuitrörelse.
En av svårigheterna med att utvärdera relationen mellan eye tracking-data och rörliga
objekten i filmer är att objekten, antingen manuellt mäts ut eller att ett intelligent system
utvecklas för en automatisk utvärdering.
Det som gör processen att detektera och följa rörliga objekt i filmer komplex är att olika
videosekvenser kan ha många olika typer av svåra videoscenarion som metoden måste klara av.
Till exempel kan bakgrunden i en video vara dynamisk, det kan finnas störningar som regn eller
snö, eller kan problemet vara att kameran skakar eller rör sig.
Syftet med detta arbete består av två delar. Den först delen, som också har varit den största,
har varit att utveckla en metod som kan detektera och följa rörliga objekt i olika typer av
videosekvenser, baserad på metoder från tidigare forskning. Den andra delen har varit att försöka
utveckla en automatisk utvärdering av ögonrörelsen smooth persuit, genom att använda de
detekterade och följda objekten i videosekvenserna tillsammans med redan existerande ögondata.
För att utveckla den metod har olika metoder från tidigare forskning kombinerat. Alla metoder
som har utvecklas i detta område har olika för och nackdelar och fungerade bättre eller sämre för
olika typer av videoscenarion. Målet för metoden i detta arbete har varit att hitta en kombination
av olika metoder som, genom att kompensera varandras för- och nackdelar, kan ge en så bra
detektering som möjligt för olika typer av filmsekvenser. Min metod är till största del uppbyggd
av tre metoder: En modifierad version av Guasssian Mixture Model, Tracking Feature Point och
en modifierad version av Mean Shift Algorithmen.
Guassian Mixture Model-metoden används för att detekterar pixlar i filmen som tillhör objekt
som är i rörelse. Metoden tar fram dynamiska modeller av bakgrunden i filmen och detekterar
pixlar som skiljer sig från backgrundsmodellerna. Detta är en väl använd metod som kan hantera
komplexa bakgrunder med periodiskt brus, men den ger samtidigt ofta upphov till felaktiga
detektioner och den kan inte hantera kamerarörelser.
För att hantera kamerarörelser används Tracking Feature Point-metoden och på så sätt
kompenseras denna brist hos Guassian Mixture Modell-metoden. Tracking Feature Point tar fram
”feature points” ut videobilder och med hjälp av dem kan metoden estimera kameraförflyttningar.
Denna metod räknar dock endast ut de förflyttningar som kameran gör, men den tar inte hänsyn
till om kameran roterar.
Mean Shift Algoritm är en metod som används för att räkna ut det rörliga objektets nya
position i en efterföljande bild. För mitt arbete har endast delar av denna metod används till att
bestämma vilka detektioner av objekt i de olika bilderna som representerar samma objekt. Genom
att ta fram modeller för objekten i varje bild, vilka sedan jämförs, kan metoden bestämma vilka
objekt som kan klassas som samma objekt.
Den metod som har utvecklat i detta arbete gav bäst resultat när bakgrunden var statisk och
objektets färg skiljde sig från bakgrunden. När bakgrunden blir mer dynamisk och komplex
ökade mängden falska detektioner och för vissa videosekvenser misslyckas metoden att detektera
hela objekten.
Den andra delen av detta arbetes syfte var att använda resultatet från metoden för att utvärdera
eye tracking-data. Den automatiska utvärderingen av ögonrörelsen smooth pursuit ger ett mått på
hur bra ögat kan följa objekt som rör sig. För att utföra detta mäts avståndet mellan den punkt
som ögat tittar på och det detekterade objektets centrum. Den automatiskt utvärderingen av
smooth pursuit-rörelsen gav bäst resultat när objekten var små. För större objekt följer ögat inte
nödvändigtvis objektets mittenpunkt utan istället någon annan del av objektet och metoden kan
därför i dessa fall ge ett missvisande resultat.
Detta arbete har inte resulterat i en färdig metod utan det finns många områden för
förbättringar. Exempelvis skulle en estimering av kamerans rotationer förbättra resultaten.
Utvärderingen av hur väl ögat följer rörliga objekt kan även utvecklas mer, genom att konturerna
av objekten beräknades. På detta sätt skulle även avståndet mellan punkterna ögat tittar på och
objektets area kunnat bestämmas. Både eye tracking och att detektera och följa rörliga objekt i
filmer är idag aktiva forskningsområden och det finns alltså fortfarande mycket att utveckla i
dessa områden. Syfte med detta arbete har varit att försöka utveckla en mer generell metod som
kan fungera för olika typer av filmsekvenser.

• author: Åkerström, Andrea
• supervisor: Martin Stridh
• organization: Department of Electrical and Information Technology
• course: EITM01 20131
• year: 2015
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• keywords: 2015, detecting, eye, tracking, smooth-pursuit
• report number: LU/LTH-EIT 2015-453
• language: English
• id: 7508976
• date added to LUP: 2015-07-01 14:33:30
• date last changed: 2015-08-18 11:45:52