Advanced

Region of Interest Prediction in Football Using Artificial Neural Networks

Gustavsson, Robin LU (2017) In Master’s Theses in Mathematical Sciences FMA820 20162
Mathematics (Faculty of Engineering)
Abstract (Swedish)
Traditional broadcasting of sport events, such as football or icehockey games, require continuos attention of a camera operator in order to capture the area which is of interest to a viewer. In many cases, however, this is not a practical solution, due to e.g. costs, and an automated solution is preferable. The first step of such an automated algorithm is to determine what part of the scene, called the region of interest (ROI), to capture.

This thesis focuses on the problem of causal estimation and prediction of the ROI, defined as the area of the playing field onto which a human viewer’s attention would fall, for football games. Artificial neural networks with varying structure were trained to predict the ROI for times t + d using... (More)
Traditional broadcasting of sport events, such as football or icehockey games, require continuos attention of a camera operator in order to capture the area which is of interest to a viewer. In many cases, however, this is not a practical solution, due to e.g. costs, and an automated solution is preferable. The first step of such an automated algorithm is to determine what part of the scene, called the region of interest (ROI), to capture.

This thesis focuses on the problem of causal estimation and prediction of the ROI, defined as the area of the playing field onto which a human viewer’s attention would fall, for football games. Artificial neural networks with varying structure were trained to predict the ROI for times t + d using features extracted from video images up to time t. Two types of features were considered; one based on the relative amount of foreground in subregions of the playing field (foreground ratio) and another based on the players’ speeds (motion field).

The results indicate that the choice of network structure has little effect on the prediction performance and that, for d = 0, the problem can be solved with approximately the same performance when using only the foreground ratio as input as when using both types of features. For d > 0, however, including the motion field as a feature does improve performance slightly. (Less)
Popular Abstract (Swedish)
Videoanalys i sport har blivit ett alltmer värdefullt verktyg för tränare och spelare, men har av praktiska skäl varit förunnat endast de största klubbarna. Företaget Spiideo utvecklar ett system med målsättningen att förenkla inspelning, lagring och uppspelning av videomaterial samt taggning av spelsituationer och liknande.

En typisk installation består av ett antal kameror som kan användas för att producera en högupplöst film som täcker in hela spelplanen. Denna kan sedan spelas upp i Spiideos videospelare som tillåter att man manuellt zoomar och panorerar till den del av planen som är av intresse. I vissa fall är det dock önskvärt att låta spelaren automatiskt följa spelet – som en virtuell kameraman – utan att tittaren behöver göra... (More)
Videoanalys i sport har blivit ett alltmer värdefullt verktyg för tränare och spelare, men har av praktiska skäl varit förunnat endast de största klubbarna. Företaget Spiideo utvecklar ett system med målsättningen att förenkla inspelning, lagring och uppspelning av videomaterial samt taggning av spelsituationer och liknande.

En typisk installation består av ett antal kameror som kan användas för att producera en högupplöst film som täcker in hela spelplanen. Denna kan sedan spelas upp i Spiideos videospelare som tillåter att man manuellt zoomar och panorerar till den del av planen som är av intresse. I vissa fall är det dock önskvärt att låta spelaren automatiskt följa spelet – som en virtuell kameraman – utan att tittaren behöver göra någonting.

Detta arbete har undersökt hur ovanstående problem kan lösas för fotboll, genom att använda en klass av matematiska modeller som kallas för artificiella neurala nätverk. Inspirationen till dessa nätverk kommer från hur deras biologiska motsvarigheter – exempelvis hjärnan – fungerar, och har använts framgångsrikt för att lösa många svåra problem, såsom objektklassificering i bilder.

Nätverket i sin helhet kan ses ungefär som en svart låda, där man stoppar in värden kallade features och får ut förutsägelser av var på planen en mänsklig tittare skulle fokusera sin blick. De features som har använts i detta projekt beräknas utifrån kamerabilderna och ger en ungefärlig representation av hur spelarna är fördelade över planen, samt deras hastigheter. För att ha ett facit att “lära upp” modellen efter, har ögonrörelserna hos ett antal personer spelats in, medan de tittat på inspelade fotbollsmatcher.

Trots att vi endast hade tillgång till en begränsad mängd data att träna modellerna på, uppvisade de resulterande modellerna goda resultat – i synnerhet jämfört med mer naiva dito. Detta indikerar att artificiella neurala nätverk är ett lämpligt val av modell. (Less)
Please use this url to cite or link to this publication:
author
Gustavsson, Robin LU
supervisor
organization
alternative title
Prediction av intresseområden i fotboll
course
FMA820 20162
year
type
H2 - Master's Degree (Two Years)
subject
keywords
region of interest, prediction, football, soccer, tracking, artificial neural networks
publication/series
Master’s Theses in Mathematical Sciences
report number
2017:E3
ISSN
1404-6342
language
English
id
8918146
date added to LUP
2017-06-22 11:15:22
date last changed
2017-06-22 11:15:22
@misc{8918146,
  abstract     = {Traditional broadcasting of sport events, such as football or icehockey games, require continuos attention of a camera operator in order to capture the area which is of interest to a viewer. In many cases, however, this is not a practical solution, due to e.g. costs, and an automated solution is preferable. The first step of such an automated algorithm is to determine what part of the scene, called the region of interest (ROI), to capture.

This thesis focuses on the problem of causal estimation and prediction of the ROI, defined as the area of the playing field onto which a human viewer’s attention would fall, for football games. Artificial neural networks with varying structure were trained to predict the ROI for times t + d using features extracted from video images up to time t. Two types of features were considered; one based on the relative amount of foreground in subregions of the playing field (foreground ratio) and another based on the players’ speeds (motion field).

The results indicate that the choice of network structure has little effect on the prediction performance and that, for d = 0, the problem can be solved with approximately the same performance when using only the foreground ratio as input as when using both types of features. For d > 0, however, including the motion field as a feature does improve performance slightly.},
  author       = {Gustavsson, Robin},
  issn         = {1404-6342},
  keyword      = {region of interest,prediction,football,soccer,tracking,artificial neural networks},
  language     = {eng},
  note         = {Student Paper},
  series       = {Master’s Theses in Mathematical Sciences},
  title        = {Region of Interest Prediction in Football Using Artificial Neural Networks},
  year         = {2017},
}