User Identification of Touch Screen Input Using RGB-D Cameras
(2015) In Master's Theses in Mathematical Sciences FMA820 20151Mathematics (Faculty of Engineering)
- Abstract
- An attempt was made to identify the users of a 78" curved touch screen based on images from three cameras placed around it. By assuming the existence of a robust facial detection algorithm, the work is limited to connecting each touch point to the most likely face. The cameras provide both color and depth information, allowing 3D logic to "see" that a touch point is connected to one of the detected faces. Multiple algorithms were implemented and evaluated, based on segmentation and path-finding.
While the general approach is likely feasible, none of the tested solutions provided the accuracy necessary for a robust system. In order to achieve better robustness, the most promising improvement would be a better hardware configuration with... (More) - An attempt was made to identify the users of a 78" curved touch screen based on images from three cameras placed around it. By assuming the existence of a robust facial detection algorithm, the work is limited to connecting each touch point to the most likely face. The cameras provide both color and depth information, allowing 3D logic to "see" that a touch point is connected to one of the detected faces. Multiple algorithms were implemented and evaluated, based on segmentation and path-finding.
While the general approach is likely feasible, none of the tested solutions provided the accuracy necessary for a robust system. In order to achieve better robustness, the most promising improvement would be a better hardware configuration with more cameras. (Less) - Popular Abstract (Swedish)
- Användaridentifiering av Pekskärmsindata med RGB-D-kameror
Pekskärmar blir en allt större del av vår tekniska vardag. Idag finns teknik för att göra pekskärmar större, mindre och med nya former jämfört med bara några år sedan. I ett sådant läge blir det naturligt att försöka eliminera alla svagheter hos tekniken. En sådan svaghet hos pekskärmar är att de inte kan skilja på olika simultana användare.
Hos stora skärmar är det naturligt att flera användare vill interagera med en och samma skärm samtidigt. För vissa applikationer är det dock essentiellt att kunna skilja användarna åt. Tänk dig till exempel ett enkelt ritprogram, där användarna kan välja färger och rita på skärmen med sina fingrar. Om person A väljer en röd färg, och... (More) - Användaridentifiering av Pekskärmsindata med RGB-D-kameror
Pekskärmar blir en allt större del av vår tekniska vardag. Idag finns teknik för att göra pekskärmar större, mindre och med nya former jämfört med bara några år sedan. I ett sådant läge blir det naturligt att försöka eliminera alla svagheter hos tekniken. En sådan svaghet hos pekskärmar är att de inte kan skilja på olika simultana användare.
Hos stora skärmar är det naturligt att flera användare vill interagera med en och samma skärm samtidigt. För vissa applikationer är det dock essentiellt att kunna skilja användarna åt. Tänk dig till exempel ett enkelt ritprogram, där användarna kan välja färger och rita på skärmen med sina fingrar. Om person A väljer en röd färg, och sedan väljer person B en blå. Om person A nu trycker på skärmen, kommer dess alster bli blåa, eftersom skärmen inte kan veta att det var någon annan som valde den blåa färgen. Detta examensarbete försöker lösa just detta problem.
Den lösning som tagits fram bygger på att ett antal kameror sätts upp runt om skärmen. Kamerorna ger, förutom en färgbild, även en djupbild. Det innebär att avståndet från varje pixel till kameran är känt, vilket gör det möjligt att skapa en 3D-bild av personerna som står framför skärmen.
Ansiktsigenkänning körs på färgbilden, så att de användare som står framför skärmen kan identifieras. Med hjälp av 3D-bilden kan man sedan koppla samman ansiktena med de händer som ligger närmast de punkter på skärmen där tryck registreras av skärmen.
Ett antal algoritmer togs fram för att försöka lösa problemet. Algoritmerna bygger på att på olika sätt se var gränsen mellan olika användares kroppar går, och att hitta vägar genom 3D-rymden från ansiktena till händerna, som följer användarnas kroppar så väl som möjligt.
Ingen av algoritmerna lyckades uppnå en tillräckligt hög tillförlitlighet för att systemet ska kunna fungera väl i verkligheten. Däremot är resultatet bra nog för att man ska kunna säga att konceptet fungerar.
Det mest uppenbara området som går att förbättra är själva hårdvarukonfigurationen; under detta projekt användes tre kameror, en ovanför och två på sidorna bredvid skärmen, vilket ger signifikanta områden framför skärmen som inte syns ordentligt. Dessutom är det svårt för den översta kameran att se alla ansikten. Med fler kameror hade troligtvis resultatet blivit märkbart bättre. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/5471557
- author
- Ahrnbom, Martin LU
- supervisor
-
- Karl Åström LU
- Erik Bylow LU
- organization
- alternative title
- Användaridentifiering av Pekskärmsindata med RGB-D-kameror
- course
- FMA820 20151
- year
- 2015
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- computer vision depth cameras touch screen input user identification
- publication/series
- Master's Theses in Mathematical Sciences
- report number
- LUTFMA-3280-2015
- ISSN
- 1404-6342
- other publication id
- 2015:E22
- language
- English
- id
- 5471557
- date added to LUP
- 2015-06-18 12:02:47
- date last changed
- 2015-06-18 12:02:47
@misc{5471557,
abstract = {{An attempt was made to identify the users of a 78" curved touch screen based on images from three cameras placed around it. By assuming the existence of a robust facial detection algorithm, the work is limited to connecting each touch point to the most likely face. The cameras provide both color and depth information, allowing 3D logic to "see" that a touch point is connected to one of the detected faces. Multiple algorithms were implemented and evaluated, based on segmentation and path-finding.
While the general approach is likely feasible, none of the tested solutions provided the accuracy necessary for a robust system. In order to achieve better robustness, the most promising improvement would be a better hardware configuration with more cameras.}},
author = {{Ahrnbom, Martin}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{Master's Theses in Mathematical Sciences}},
title = {{User Identification of Touch Screen Input Using RGB-D Cameras}},
year = {{2015}},
}