Skip to main content

Lund University Publications

LUND UNIVERSITY LIBRARIES

Higher-Order Regularization in Computer Vision

Ulén, Johannes LU (2014)
Abstract
At the core of many computer vision models lies the minimization of an objective function consisting of a sum of functions with few arguments. The order of the objective function is defined as the highest number of arguments of any summand. To reduce ambiguity and noise in the solution, regularization terms are included into the objective function, enforcing different properties of the solution. The most commonly used regularization is penalization of boundary length, which requires a second-order objective function. Most of this thesis is devoted to introducing higher-order regularization terms and presenting efficient minimization schemes.



One of the topics of the thesis covers a reformulation of a large class of... (More)
At the core of many computer vision models lies the minimization of an objective function consisting of a sum of functions with few arguments. The order of the objective function is defined as the highest number of arguments of any summand. To reduce ambiguity and noise in the solution, regularization terms are included into the objective function, enforcing different properties of the solution. The most commonly used regularization is penalization of boundary length, which requires a second-order objective function. Most of this thesis is devoted to introducing higher-order regularization terms and presenting efficient minimization schemes.



One of the topics of the thesis covers a reformulation of a large class of discrete functions into an equivalent form. The reformulation is shown, both in theory and practical experiments, to be advantageous for higher-order regularization models based on curvature and second-order derivatives. Another topic is the parametric max-flow problem. An analysis is given, showing its inherent limitations for large-scale problems which are common in computer vision. The thesis also introduces a segmentation approach for finding thin and elongated structures in 3D volumes. Using a line-graph formulation, it is shown how to efficiently regularize with respect to higher-order differential geometric properties such as curvature and torsion. Furthermore, an efficient optimization approach for a multi-region model is presented which, in addition to standard regularization, is able to enforce geometric constraints such as inclusion or exclusion of different regions. The final part of the thesis deals with dense stereo estimation. A new regularization model is introduced, penalizing the second-order derivatives of a depth or disparity map. Compared to previous second-order approaches to dense stereo estimation, the new regularization model is shown to be more easily optimized. (Less)
Abstract (Swedish)
Popular Abstract in Swedish

Inom många områden, exempelvis inom sjukvården, blir det allt vanligare med situationer där stora mängder av bilder behöver analyseras. Ofta kan dessa bildmängder vara så stora att det tar för lång tid för en människa att gå igenom dem. Till exempel kan man med hjälp av datortomografi ta tredimensionella röntgenbilder av människor, något som görs på sjukhus idag. Att gå igenom dessa bilder manuellt tar givetvis massor av resurser från läkare, resurser som skulle kunna användas bättre.



Ett av målen med datorseende är att automatisera analysen av stora bildmängder. Ett av de första stegen när man analyserar en bild automatiskt är ofta att rita ut gränser mellan olika objekt, att... (More)
Popular Abstract in Swedish

Inom många områden, exempelvis inom sjukvården, blir det allt vanligare med situationer där stora mängder av bilder behöver analyseras. Ofta kan dessa bildmängder vara så stora att det tar för lång tid för en människa att gå igenom dem. Till exempel kan man med hjälp av datortomografi ta tredimensionella röntgenbilder av människor, något som görs på sjukhus idag. Att gå igenom dessa bilder manuellt tar givetvis massor av resurser från läkare, resurser som skulle kunna användas bättre.



Ett av målen med datorseende är att automatisera analysen av stora bildmängder. Ett av de första stegen när man analyserar en bild automatiskt är ofta att rita ut gränser mellan olika objekt, att segmentera bilden i olika områden. När man ska göra en sådan segmentering så brukar man bygga upp en statistisk modell som säger att varje pixel i bilden med en viss sannolikhet tillhör ett visst objekt, exempelvis en lunga eller benmärgen.

Segmenteringen väljs sedan så att varje pixel får tillhörighet till det objekt som har högst sannolikhet i just den pixeln. Problemet är dock att varken modellen eller bilderna är perfekta och de resulterande segmenteringarna är ofta brusiga. Ett sätt att minska detta problem är att införa mer regler i modellen. För de flesta bilder är det till exempel troligt att pixlar som ligger nära varandra tillhör samma objekt. Att lägga in sådana regler i modellen brukar kallas att regularisera lösningen.



Regularisering kan även användas vid automatisk generering av så kallade djupkartor. I en djupkarta anges avståndet till varje objekt i en bild.

Djupkartor är exempelvis användbara inom spelindustrin. Med hjälp av djupkartor kan man till exempel mäta en hands rörelser och på så sett använda kroppen som en handkontroll. I automatiskt genererade djupkartor finns ofta brus som man kan minska med hjälp av regularisering.



En lägre ordningens regularisering innebär att man inför krav på storheter som man kan uppskatta utifrån två punkter, exempelvis längden på en kurva. I en högre ordningens regularisering inför man krav på storheter som kräver fler än två punkter. Ett exempel på en sådan storhet är en kurvas krökning.



Denna avhandling omfattar i huvudsak olika modeller för automatisk bildsegmentering och uppskattning av djupkartor. För de olika modellerna införs högre ordningens regulariseringsmodeller och det visas hur man effektivt hittar bra lösningar till dessa modeller. (Less)
Please use this url to cite or link to this publication:
author
supervisor
opponent
  • Veksler, Olga, University of Western Ontario, Canada.
organization
publishing date
type
Thesis
publication status
published
subject
keywords
Computer Vision, Regularization, Segmentation, Dense Stereo
pages
225 pages
publisher
Centre for Mathematical Sciences, Lund University
defense location
Lecture hall MA:2, Matteannexet, Sölvegatan 20, Lund University, Faculty of Engineering, LTH.
defense date
2014-12-11 13:15:00
ISBN
978-91-7623-163-0 (print)
978-91-7623-164-7
language
English
LU publication?
yes
id
5daf1988-f2dd-43c3-aa8c-229436009312 (old id 4777619)
alternative location
http://www.maths.lth.se/~ulen/thesis.pdf
date added to LUP
2016-04-01 13:32:11
date last changed
2019-09-23 13:06:18
@phdthesis{5daf1988-f2dd-43c3-aa8c-229436009312,
  abstract     = {{At the core of many computer vision models lies the minimization of an objective function consisting of a sum of functions with few arguments. The order of the objective function is defined as the highest number of arguments of any summand. To reduce ambiguity and noise in the solution, regularization terms are included into the objective function, enforcing different properties of the solution. The most commonly used regularization is penalization of boundary length, which requires a second-order objective function. Most of this thesis is devoted to introducing higher-order regularization terms and presenting efficient minimization schemes.<br/><br>
<br/><br>
One of the topics of the thesis covers a reformulation of a large class of discrete functions into an equivalent form. The reformulation is shown, both in theory and practical experiments, to be advantageous for higher-order regularization models based on curvature and second-order derivatives. Another topic is the parametric max-flow problem. An analysis is given, showing its inherent limitations for large-scale problems which are common in computer vision. The thesis also introduces a segmentation approach for finding thin and elongated structures in 3D volumes. Using a line-graph formulation, it is shown how to efficiently regularize with respect to higher-order differential geometric properties such as curvature and torsion. Furthermore, an efficient optimization approach for a multi-region model is presented which, in addition to standard regularization, is able to enforce geometric constraints such as inclusion or exclusion of different regions. The final part of the thesis deals with dense stereo estimation. A new regularization model is introduced, penalizing the second-order derivatives of a depth or disparity map. Compared to previous second-order approaches to dense stereo estimation, the new regularization model is shown to be more easily optimized.}},
  author       = {{Ulén, Johannes}},
  isbn         = {{978-91-7623-163-0 (print)}},
  keywords     = {{Computer Vision; Regularization; Segmentation; Dense Stereo}},
  language     = {{eng}},
  publisher    = {{Centre for Mathematical Sciences, Lund University}},
  school       = {{Lund University}},
  title        = {{Higher-Order Regularization in Computer Vision}},
  url          = {{https://lup.lub.lu.se/search/files/3434314/4862875.pdf}},
  year         = {{2014}},
}