Automated Entry System using Multi-Object Tracking
(2017) In Master’s Theses in Mathematical Sciences FMA820 20171Mathematics (Faculty of Engineering)
- Abstract
- In this thesis we employ computer vision methods in order to extend and improve the functionality of automatic doors. This thesis is based around the implementation of a door entrance system which uses information from detected pedestrians to make qualified decisions regarding door activation. This can lead to a reduced amount of unnecessary openings which will reduce the energy consumption of buildings. It will also increase comfort for pedestrians passing through the door. A corner stone in the proposed system is multi-object tracking for which different methods are considered and evaluated. To provide input for the tracker a range of different detection methods are evaluated and used in the system. In order to tune and test this system... (More)
- In this thesis we employ computer vision methods in order to extend and improve the functionality of automatic doors. This thesis is based around the implementation of a door entrance system which uses information from detected pedestrians to make qualified decisions regarding door activation. This can lead to a reduced amount of unnecessary openings which will reduce the energy consumption of buildings. It will also increase comfort for pedestrians passing through the door. A corner stone in the proposed system is multi-object tracking for which different methods are considered and evaluated. To provide input for the tracker a range of different detection methods are evaluated and used in the system. In order to tune and test this system a dataset consisting of realistic scenarios was collected and annotated. Results in the thesis show that we can estimate the walking direction of pedestrians well while the estimated speed is quite inaccurate. We also show that because of the good direction estimate one can employ static increases in prediction time to improve performance. Our tests show that YOLO, a modern object detector, is best at detecting pedestrians. We found that a tracker of relatively low complexity, Hungarian algorithm with Kalman filtering, receives both high scores and is quite robust to noise. It is concluded that this type of method can both extend and improve the automatic entry systems used today. (Less)
- Popular Abstract (Swedish)
- Populärvetenskaplig sammanfattning - Automatiskt ingångssystem med hjälp av flerobjektsspårning
Tänk om de dörrar du passerar vet vart du är på väg? Med en kamera och bildbehandling visar vi att man kan spåra människor och förutse deras rörelse. Detta ger stora energibesparingar och ökad komfort.
Automatiska dörrar är något de flesta kommer i kontakt med dagligen, på jobbet, gymmet eller i matvarubutiken. Idag fungerar automatiska dörrar, de öppnar och stänger beroende på om någon står framför dörren. Vad skulle man kunna göra bättre? Då man försöker gå igenom en automatisk dörr för fort behöver man ofta sänka farten eller stanna. Om man vill gå förbi en automatisk dörr kommer den öppnas oavsett om man ska in eller inte, detsamma... (More) - Populärvetenskaplig sammanfattning - Automatiskt ingångssystem med hjälp av flerobjektsspårning
Tänk om de dörrar du passerar vet vart du är på väg? Med en kamera och bildbehandling visar vi att man kan spåra människor och förutse deras rörelse. Detta ger stora energibesparingar och ökad komfort.
Automatiska dörrar är något de flesta kommer i kontakt med dagligen, på jobbet, gymmet eller i matvarubutiken. Idag fungerar automatiska dörrar, de öppnar och stänger beroende på om någon står framför dörren. Vad skulle man kunna göra bättre? Då man försöker gå igenom en automatisk dörr för fort behöver man ofta sänka farten eller stanna. Om man vill gå förbi en automatisk dörr kommer den öppnas oavsett om man ska in eller inte, detsamma gäller om en hund eller katt går förbi. Vi har visat att man kan drastiskt förbättra dörrars beteende vid just dessa tillfällen. Detta leder till ökad komfort och minskad mängd onödiga dörröppningar. Det betyder att byggnader släpper ut mindre kyla eller värme och kan sänka sina energikostnader. En fotgängare som går igenom dörren kan även passera obehindrat oavsett hastighet. Dessa problem och lösningar äv väldigt intressanta för ASSA ABLOY Entrance Systems som ständigt jobbar på att förbättra sina lösningar, något vi blev ombedda hjälpa till med genom detta projekt.
Idag används sensorer baserade på mikrovågor eller infrarött ljus och öppnar dörrarna om det finns ett objekt framför dem. Med kameror kan man istället leta reda på vart det finns människor i en bild, detektion, och koppla samman dessa med information från tidigare bilder, spårning, för att tillslut bestämma om en dörr skall öppnas eller inte. Som detektor har vi visat att ett neuralt nätverk vid namn YOLO presterar i en klass för sig själv och kan hitta människor nästan oberoende av kameravinkel och människans pose. En stor del av detta arbete har gått till att undersöka spårningsalgoritmer för att länka en människa en en bild till en människa i en annan. Vi har undersökt tre olika metoder och har kommit fram till att en presterar genomgående väldigt bra utan att införa onödig komplexitet. Denna algoritm kallar vi Hungarian-Kalman och bygger på att optimalt koppla nya detektioner till en modell av människans tidigare beteende. Denna modell kan sedan användas för att förutspå vart människan är på väg.
Vi har filmat ett dataset som är representativt för människors interaktion framför en dörr. Förbipasserande människor, som bidrar till onödiga dörröppningar, har vi visat att vi kan ignorera utan större problem. Rörelse hos människor som rör sig rakt emot dörren från olika positioner förutspås och därmed öppnas för. Ibland byter man riktning och tar en skarp sväng mot dörren, dessa fall är väldigt svåra att anpassa sig till men vi visar att man kan utnyttja andra tekniker för att snabbt anpassa systemet.
Detta arbete lägger grund för framtidens dörrar så att de kan göra smarta beslut beroende på hur du rör dig. Dörrar kommer bli något man passerar utan att lägga märke till samtidigt som de sparar energi. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/8916612
- author
- Jalkemo, Adam LU and Westenius, Emil LU
- supervisor
-
- Håkan Ardö LU
- Martin Ahrnbom LU
- organization
- alternative title
- Automatiskt ingångssystem med hjälp av flerobjektsspårning
- course
- FMA820 20171
- year
- 2017
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- Multi-Object tracking, Pedestrian tracking, Pedestrian detection
- publication/series
- Master’s Theses in Mathematical Sciences
- report number
- LUTFMA-3324-2017
- ISSN
- 1404-6342
- other publication id
- 2017:E33
- language
- English
- id
- 8916612
- date added to LUP
- 2017-06-20 14:57:28
- date last changed
- 2017-06-20 14:57:28
@misc{8916612,
abstract = {{In this thesis we employ computer vision methods in order to extend and improve the functionality of automatic doors. This thesis is based around the implementation of a door entrance system which uses information from detected pedestrians to make qualified decisions regarding door activation. This can lead to a reduced amount of unnecessary openings which will reduce the energy consumption of buildings. It will also increase comfort for pedestrians passing through the door. A corner stone in the proposed system is multi-object tracking for which different methods are considered and evaluated. To provide input for the tracker a range of different detection methods are evaluated and used in the system. In order to tune and test this system a dataset consisting of realistic scenarios was collected and annotated. Results in the thesis show that we can estimate the walking direction of pedestrians well while the estimated speed is quite inaccurate. We also show that because of the good direction estimate one can employ static increases in prediction time to improve performance. Our tests show that YOLO, a modern object detector, is best at detecting pedestrians. We found that a tracker of relatively low complexity, Hungarian algorithm with Kalman filtering, receives both high scores and is quite robust to noise. It is concluded that this type of method can both extend and improve the automatic entry systems used today.}},
author = {{Jalkemo, Adam and Westenius, Emil}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{Master’s Theses in Mathematical Sciences}},
title = {{Automated Entry System using Multi-Object Tracking}},
year = {{2017}},
}