Applying the Maxout Model to Increase the Performance of the Multilayer Perceptron in Shallow Networks
(2016) FYTK02 20161Computational Biology and Biological Physics - Undergoing reorganization
- Abstract
- The Maxout network is an alternative to artificial neural networks that use fixed activation functions. By adding extra layers of linear nodes the Maxout network is able to learn both the relationship between the hidden nodes and the activation function that they use. The idea was presented as a natural companion to the dropout technique when training large convolutional networks, showing state-of-the-art results on several benchmark datasets. In this project we apply the Maxout method, without dropout, as a substitute to a sigmoidal activation function used in small networks with only one hidden layer. We show that the Maxout method can improve the performance of some classification problems while also decreasing the computer run-time... (More)
- The Maxout network is an alternative to artificial neural networks that use fixed activation functions. By adding extra layers of linear nodes the Maxout network is able to learn both the relationship between the hidden nodes and the activation function that they use. The idea was presented as a natural companion to the dropout technique when training large convolutional networks, showing state-of-the-art results on several benchmark datasets. In this project we apply the Maxout method, without dropout, as a substitute to a sigmoidal activation function used in small networks with only one hidden layer. We show that the Maxout method can improve the performance of some classification problems while also decreasing the computer run-time needed for training. The classification problems used were artificially created to be non-linear multi-dimensional problems. The Maxout method was also tested on a highly complex regression problem and showed to yield as good results as the sigmoidal activation function, while taking a lot shorter time to train. (Less)
- Popular Abstract (Swedish)
- Den mänskliga hjärnan är kanske det mest avancerade och komplexa system som vi känner till. Den är kapabel både till att skapa kreativa tankar och idéer och också till att skapa och minnas erfarenheter och lära sig från dem. Vetenskapen har kommit långt i utforskningen av hjärnans struktur, och idéer om hur vi kan ta till oss och använda den kunskapen är många. I hjärnan finns ett nätverk av nervceller som kommunicerar med varandra genom elektriska impulser. Idéen om att använda ett kommunicerande nätverk för att analysera och upptäcka mönster har väckt stort intresse i forskarvärlden. Konstruktionen av artificiella neurala nätverk har visat sig möjlig, och deras användbarhet tycks sakna gränser. Idag används de i allt från diagnosering av... (More)
- Den mänskliga hjärnan är kanske det mest avancerade och komplexa system som vi känner till. Den är kapabel både till att skapa kreativa tankar och idéer och också till att skapa och minnas erfarenheter och lära sig från dem. Vetenskapen har kommit långt i utforskningen av hjärnans struktur, och idéer om hur vi kan ta till oss och använda den kunskapen är många. I hjärnan finns ett nätverk av nervceller som kommunicerar med varandra genom elektriska impulser. Idéen om att använda ett kommunicerande nätverk för att analysera och upptäcka mönster har väckt stort intresse i forskarvärlden. Konstruktionen av artificiella neurala nätverk har visat sig möjlig, och deras användbarhet tycks sakna gränser. Idag används de i allt från diagnosering av patienter till ansiktsidentifiering och självkörande bilar. Strukturen av sådana nätverk förändras konstant och det forskas intensivt på nya förbättringar för att göra framförallt stora nätverk snabbare och mer pålitliga. En ny struktur kallad Maxout har lagt grunden för det här projektet, som handlar om att analysera hur Maxout metoden presterar i små nätverk och på relativt simpla problem. Maxout metoden har visats vara användbar för djupa nätverk och komplexa problem som till exempel bildanalys och röstigenkänning, men dess brukbarhet för mindre nätverk är också relevant. Små nätverk är enklare att implementera, går fortare att träna och kan fortfarande vara mycket användbara när det gäller till exempel diagnostisering av patienter. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/8889739
- author
- Jakobsson, Edvin LU
- supervisor
- organization
- course
- FYTK02 20161
- year
- 2016
- type
- M2 - Bachelor Degree
- subject
- keywords
- Maxout, Network, Multilayer perceptron, Artifical neural network
- language
- English
- id
- 8889739
- date added to LUP
- 2017-01-10 14:34:41
- date last changed
- 2017-10-06 16:15:55
@misc{8889739,
abstract = {{The Maxout network is an alternative to artificial neural networks that use fixed activation functions. By adding extra layers of linear nodes the Maxout network is able to learn both the relationship between the hidden nodes and the activation function that they use. The idea was presented as a natural companion to the dropout technique when training large convolutional networks, showing state-of-the-art results on several benchmark datasets. In this project we apply the Maxout method, without dropout, as a substitute to a sigmoidal activation function used in small networks with only one hidden layer. We show that the Maxout method can improve the performance of some classification problems while also decreasing the computer run-time needed for training. The classification problems used were artificially created to be non-linear multi-dimensional problems. The Maxout method was also tested on a highly complex regression problem and showed to yield as good results as the sigmoidal activation function, while taking a lot shorter time to train.}},
author = {{Jakobsson, Edvin}},
language = {{eng}},
note = {{Student Paper}},
title = {{Applying the Maxout Model to Increase the Performance of the Multilayer Perceptron in Shallow Networks}},
year = {{2016}},
}