ERA: Evolution of Residual Architectures
(2020) In Master's Theses in Mathematical Sciences FMAM05 20201Mathematics (Faculty of Engineering)
- Abstract
- This thesis investigates how well a neural architecture search can find competitive image classifiers on the CIFAR-10 data set with limited computational resources. Most work done on architecture search either uses vast computational resources or narrow and strongly informed space of possible solutions.
The solution space proposed consists of residual convolutional networks with separable convolutions and is explored by a primitive evolutionary procedure. When regularizing the evolution it proceeds to find an architecture outperforming the ResNet-110 baseline. Further evolution is shown to find networks with significantly stronger average performance than random search. In comparison with Bayesian optimization and local search,... (More) - This thesis investigates how well a neural architecture search can find competitive image classifiers on the CIFAR-10 data set with limited computational resources. Most work done on architecture search either uses vast computational resources or narrow and strongly informed space of possible solutions.
The solution space proposed consists of residual convolutional networks with separable convolutions and is explored by a primitive evolutionary procedure. When regularizing the evolution it proceeds to find an architecture outperforming the ResNet-110 baseline. Further evolution is shown to find networks with significantly stronger average performance than random search. In comparison with Bayesian optimization and local search, evolution show competitive final performance. Bayesian optimization however gives unmatched sample efficiency.
One pressing matter in the process of reducing computations is how extensive networks must be trained before evaluation. Small scale experiments shows a tolerable rank-correlation between early performance and final performance of residual networks but indicates a bias for shallow networks. (Less) - Popular Abstract (Swedish)
- I detta arbetet har en evolutionär algoritm utformats för att hitta artificella neurala nätverk (ANN) optimerade för att klassificera bilder.
Artificiella neurala nätverk (ANN) är en AI-teknik där hjärnans nervsystem efterliknas i ett datorprogram, med målet att datorn själv ska lära sig utföra uppgifter. Detta har visat sig mycket framgångsrikt och har gett AI-forskningen ett stort uppsving de senaste åren. Dessa datorprogram har visats kunna lära sig lösa mycket komplexa uppgifter, som att förstå tal och identifiera föremål i bilder. En av nackdelarna med ANN är att de kan se ut på många olika sett. Att hitta den optimala strukturen är tidkrävande och kräver dessutom att djupa kunskaper både om AI men även det specifika problemet.
... (More) - I detta arbetet har en evolutionär algoritm utformats för att hitta artificella neurala nätverk (ANN) optimerade för att klassificera bilder.
Artificiella neurala nätverk (ANN) är en AI-teknik där hjärnans nervsystem efterliknas i ett datorprogram, med målet att datorn själv ska lära sig utföra uppgifter. Detta har visat sig mycket framgångsrikt och har gett AI-forskningen ett stort uppsving de senaste åren. Dessa datorprogram har visats kunna lära sig lösa mycket komplexa uppgifter, som att förstå tal och identifiera föremål i bilder. En av nackdelarna med ANN är att de kan se ut på många olika sett. Att hitta den optimala strukturen är tidkrävande och kräver dessutom att djupa kunskaper både om AI men även det specifika problemet.
Därför har detta arbetet fokuserat på att automatisera designen av neurala nätverk. En algoritm som på egen hand designar optimala nätverk skulle göra användandet av AI mer tillgänglig för de som inte är experter. Detta har gjorts med en algoritm som är baserad på evolutionsteori. Algoritmen skapar en population av nätverk som får konkurera med varandra om att förökas och en mutation driver på utvecklingen, dessutom kan nätverken tillåtas att ''para sig'' för att skapa nya nätverk. Experimenten som gjordes visar att den evolutionsbaserade algoritmen hittar neurala nätverk som är bättre på att klassificera bilder än den kända nätverket ResNet-110. Dessutom visade experimenten att en algoritm baserad på mycket enkla evolutionära principer kan konkurera med sökalgoritmer baserade på klart mer avancerade statistiska principer.
Detta arbete kan direkt appliceras i till att hitta nätverk lämpade för klassificering av små bilder. Med små omformuleringar i problemet kan det även användas till andra typer av bildanalys. Den evolutionsbaserade algoritmen är dock oberoende av vilken sökning användaren är intresserad av och kan appliceras på valfritt problem. Programmet som utvecklats bygger på en existerande optimeringsmjukvara i öppen källkod och där flera sökalgoritmer finns att tillgå. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/9021239
- author
- Lundberg, Samuel LU
- supervisor
-
- Karl Åström LU
- Luigi Nardi LU
- Pontus Giselsson LU
- Johan Roos
- organization
- course
- FMAM05 20201
- year
- 2020
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- Neural Architecture Search, Automated Machine Learning, Black-box Optimization, Residual Networks, Convolutional Networks, Image Classification, Neuro-Evolutionary Computing
- publication/series
- Master's Theses in Mathematical Sciences
- report number
- LUTFMA-3415-2020
- ISSN
- 1404-6342
- other publication id
- 2020:E35
- language
- English
- id
- 9021239
- date added to LUP
- 2020-06-29 14:35:01
- date last changed
- 2020-06-29 14:35:01
@misc{9021239,
abstract = {{This thesis investigates how well a neural architecture search can find competitive image classifiers on the CIFAR-10 data set with limited computational resources. Most work done on architecture search either uses vast computational resources or narrow and strongly informed space of possible solutions.
The solution space proposed consists of residual convolutional networks with separable convolutions and is explored by a primitive evolutionary procedure. When regularizing the evolution it proceeds to find an architecture outperforming the ResNet-110 baseline. Further evolution is shown to find networks with significantly stronger average performance than random search. In comparison with Bayesian optimization and local search, evolution show competitive final performance. Bayesian optimization however gives unmatched sample efficiency.
One pressing matter in the process of reducing computations is how extensive networks must be trained before evaluation. Small scale experiments shows a tolerable rank-correlation between early performance and final performance of residual networks but indicates a bias for shallow networks.}},
author = {{Lundberg, Samuel}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{Master's Theses in Mathematical Sciences}},
title = {{ERA: Evolution of Residual Architectures}},
year = {{2020}},
}