Estimating Median Visiting Times using Re-identification
(2018) In Master's Theses in Mathematical Sciences FMAM05 20181Mathematics (Faculty of Engineering)
- Abstract
- Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience. This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time. Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view. The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.
Different... (More) - Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience. This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time. Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view. The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.
Different strategies to perform the image matching are presented and analysed. The presented system estimates the median visiting time with a relative error of 0.00073. The error is low enough to reliably estimate the median visiting time in a small store. For the top view camera setup we achieved a re-identification rank-1 accuracy of 84.7 % and a mAP score of 81.5 %. Comparing the two different camera installation setups leads to a couple of important lessons. The amount of standard view data publicly available is huge compared to top view giving the standard camera setup a head start. The top view system has other advantages such as being able to avoid occlusions. Ideally, the system would embrace advantages of both setups and a compromise between the two views is suggested as a future improvement. (Less) - Popular Abstract (Swedish)
- Besökstider skulle kunna användas för smartare kassabemanning för att minimera kötider vilket leder till en mer positiv butiksupplevelse för kunden. Det har visat sig att för en mindre butik vara möjligt att uppskatta besökstider med god tillförlitlighet. Ytterligare användningsområden för besökstider är att jämföra hur länge personer vistas i olika områden. Besökstider är en möjlighet för butiksägare att få tillgång till högkvalitativ information om sina kunder. Information som sedan kan användas för att förbättra butiken. Webbshopar har tillgång till mycket detaljerad information om sina kunder vilket inte är möjligt i samma utsträckning för fysiska butiker.
Vi har undersökt möjligheten att automatiskt uppskatta besökstider i... (More) - Besökstider skulle kunna användas för smartare kassabemanning för att minimera kötider vilket leder till en mer positiv butiksupplevelse för kunden. Det har visat sig att för en mindre butik vara möjligt att uppskatta besökstider med god tillförlitlighet. Ytterligare användningsområden för besökstider är att jämföra hur länge personer vistas i olika områden. Besökstider är en möjlighet för butiksägare att få tillgång till högkvalitativ information om sina kunder. Information som sedan kan användas för att förbättra butiken. Webbshopar har tillgång till mycket detaljerad information om sina kunder vilket inte är möjligt i samma utsträckning för fysiska butiker.
Vi har undersökt möjligheten att automatiskt uppskatta besökstider i butiker. Ett sätt att automatiskt uppskatta besökstid är att upptäcka en person i ingång och sedan upptäcka samma person i utgång. För att göra detta måste man kunna avgöra om två bilder föreställer samma person. När man har har matchat personer i olika kameror kan man sedan jämföra tidsstämpeln på de resulterande bilderna och på så sätt få ut en besökstid. Att automatiskt matcha personer i bilder tagna från olika vinklar är inte ett enkelt problem då stor variation kan uppkomma med bland annat ljussättning och bakgrund. För att kunna utföra matchningen har maskininlärningstekniker använts. Det innebär att en matematisk modell får se olika exempel med facit för att försöka "lära sig" att gissa rätt på exempel som inte tidigare setts av modellen. Målet är att modellen skall lära sig att hitta mönster i bilderna som inte enbart är specifika för de exempel som setts under inlärningsfasen.
Vi har undersökt två olika kameravinklar, en som filmar snett uppifrån där ansikte och andra detaljer som möjliggör identifiering syns. Den andra vinkeln är en kamera monterad i taket som pekar rakt nedåt. Det finns för- och nackdelar med båda vinklarna där den som pekar rakt nedåt kan undvika att en person blockeras av ett föremål eller helt enkelt en annan person. Denna kameravy kan även ses som bättre ur en integritetssynpunkt eftersom den inte fångar ansikten på bild. Däremot finns det betydligt fler exempel med facit för den vy som filmar snett uppifrån vilket leder till att den matematiska modellen kan bli bättre. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/8945431
- author
- Rodhe, Johan LU and Oxenstierna, Gustaf LU
- supervisor
- organization
- course
- FMAM05 20181
- year
- 2018
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- Machine learning, Computer vision, Image analysis, Re-identification, Deep learning
- publication/series
- Master's Theses in Mathematical Sciences
- report number
- LUFTMA-3345-2018
- ISSN
- 1404-6342
- other publication id
- 2018:E21
- language
- English
- id
- 8945431
- date added to LUP
- 2018-06-08 15:23:00
- date last changed
- 2019-07-12 10:39:24
@misc{8945431,
abstract = {{Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience. This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time. Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view. The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.
Different strategies to perform the image matching are presented and analysed. The presented system estimates the median visiting time with a relative error of 0.00073. The error is low enough to reliably estimate the median visiting time in a small store. For the top view camera setup we achieved a re-identification rank-1 accuracy of 84.7 % and a mAP score of 81.5 %. Comparing the two different camera installation setups leads to a couple of important lessons. The amount of standard view data publicly available is huge compared to top view giving the standard camera setup a head start. The top view system has other advantages such as being able to avoid occlusions. Ideally, the system would embrace advantages of both setups and a compromise between the two views is suggested as a future improvement.}},
author = {{Rodhe, Johan and Oxenstierna, Gustaf}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{Master's Theses in Mathematical Sciences}},
title = {{Estimating Median Visiting Times using Re-identification}},
year = {{2018}},
}