# LUP Student Papers

## LUND UNIVERSITY LIBRARIES

### Estimating Median Visiting Times using Re-identification

and Oxenstierna, Gustaf LU (2018) In Master's Theses in Mathematical Sciences FMAM05 20181
Mathematics (Faculty of Engineering)
Abstract
Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience.
This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time.
Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view.
The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.

Different... (More)
Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience.
This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time.
Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view.
The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.

Different strategies to perform the image matching are presented and analysed. The presented system estimates the median visiting time with a relative error of 0.00073. The error is low enough to reliably estimate the median visiting time in a small store.
For the top view camera setup we achieved a re-identification rank-1 accuracy of 84.7 % and a mAP score of 81.5 %.
Comparing the two different camera installation setups leads to a couple of important lessons. The amount of standard view data publicly available is huge compared to top view giving the standard camera setup a head start.
The top view system has other advantages such as being able to avoid occlusions. Ideally, the system would embrace advantages of both setups and a compromise between the two views is suggested as a future improvement. (Less)
Popular Abstract (Swedish)
Besökstider skulle kunna användas för smartare kassabemmaning för att minimera kötider vilket leder till en mer positiv butiksupplevelse för kunden. Det har visat sig att för en mindre butik vara möjligt att uppskatta besökstider med god tillförlitlighet. Ytterligare användningsområden för besökstider är att jämföra hur länge personer vistas i olika områden. Besökstider är en möjlighet för butiksägare att få tillgång till högkvalitativ information om sina kunder. Information som sen kan användas för att förbättra butiken. Webbshopar har tillgång till mycket detaljerad information om sina kunder vilket inte finns är möjligt i samma utsträckning för fysiska butiker
Vi har undersökt möjligheten att automatiskt uppskatta besökstider i... (More)
Besökstider skulle kunna användas för smartare kassabemmaning för att minimera kötider vilket leder till en mer positiv butiksupplevelse för kunden. Det har visat sig att för en mindre butik vara möjligt att uppskatta besökstider med god tillförlitlighet. Ytterligare användningsområden för besökstider är att jämföra hur länge personer vistas i olika områden. Besökstider är en möjlighet för butiksägare att få tillgång till högkvalitativ information om sina kunder. Information som sen kan användas för att förbättra butiken. Webbshopar har tillgång till mycket detaljerad information om sina kunder vilket inte finns är möjligt i samma utsträckning för fysiska butiker
Vi har undersökt möjligheten att automatiskt uppskatta besökstider i butiker.

Ett sätt att automatiskt uppskatta besökstid är att upptäcka en person i ingång och sedan upptäcka samma person i utgång. För att göra detta måste man kunna avgöra om två bilder föreställer samma person. När man har har matchat personer i olika kameror kan man sen jämföra tidsstämpeln på de resulterande bilderna och på så sätt få ut en besökstid. Att automatiskt matcha personer i bilder tagna från olika vinklar är inte ett enkelt problem då stor variation kan uppkomma med bland annat ljussättning och bakgrund. För att kunna utföra matchningen har maskininlärningstekniker använts. Det innebär att en matematisk modell får se olika exempel med facit för att försöka “lära” sig att gissa rätt på exempel som inte tidigare setts av modellen. Målet är att modellen skall lära sig att hitta mönster i bilderna som inte enbart är specifika för de exempel som setts under inlärningsfasen.
Vi har undersökt två olika kameravinklar, en som filmar snett uppifrån där ansikte och andra detaljer som möjliggör identifiering syns. Den andra vinkeln är en kamera monterad i taket som pekar rakt nedåt. Det finns för- och nackdelar med båda vinklarna där den som pekar rakt nedåt kan undvika att en person blockeras av ett föremål eller helt enkelt en annan person. Denna kameravy kan även ses som bättre ur en integritetssynpunkt eftersom den inte fångar ansikten på bild. Däremot finns det betydligt fler exempel med facit för den vyn som filmar snett uppifrån vilket leder till att den matematiska modellen kan bli bättre. (Less)
author
and Oxenstierna, Gustaf LU
supervisor
organization
course
FMAM05 20181
year
type
H2 - Master's Degree (Two Years)
subject
keywords
Machine learning, Computer vision, Image analysis, Re-identification, Deep learning
publication/series
Master's Theses in Mathematical Sciences
report number
LUFTMA-3345-2018
ISSN
1404-6342
other publication id
2018:E21
language
English
id
8945431
2018-06-08 15:23:00
date last changed
2018-06-08 15:23:00
```@misc{8945431,
abstract     = {Using customer visiting times stores can analyse customer behaviour and gain insights to help improve the store experience.
This thesis investigates the possibility of using person re-identification to create a system that can estimate the median visiting time.
Neural networks were used to analyse images of persons from two different views. Images depicting the same person were matched together and from these matches, time differences were measured.
Two camera setups were compared, one where the camera is looking vertically down, referred to as the top view.
The other one with a 45 degree angle, referred to as the standard view. As part of the thesis, a benchmark dataset was created containing data from both camera setups.

Different strategies to perform the image matching are presented and analysed. The presented system estimates the median visiting time with a relative error of 0.00073. The error is low enough to reliably estimate the median visiting time in a small store.
For the top view camera setup we achieved a re-identification rank-1 accuracy of 84.7 % and a mAP score of 81.5 %.
Comparing the two different camera installation setups leads to a couple of important lessons. The amount of standard view data publicly available is huge compared to top view giving the standard camera setup a head start.
The top view system has other advantages such as being able to avoid occlusions. Ideally, the system would embrace advantages of both setups and a compromise between the two views is suggested as a future improvement.},
author       = {Rodhe, Johan and Oxenstierna, Gustaf},
issn         = {1404-6342},
keyword      = {Machine learning,Computer vision,Image analysis,Re-identification,Deep learning},
language     = {eng},
note         = {Student Paper},
series       = {Master's Theses in Mathematical Sciences},
title        = {Estimating Median Visiting Times using Re-identification},
year         = {2018},
}

```