Optimizing Genetic Training Parameters for Neural Networks in Survival Analysis
(2018) FYTK02 20181Computational Biology and Biological Physics - Undergoing reorganization
Department of Astronomy and Theoretical Physics - Undergoing reorganization
- Abstract
- Artificial neural networks have been used to solve different problems, one being survival analysis of medical data. For survival analysis, the main interest is often how samples become sorted by their outputs, which makes survival analysis a rank based problem. A rank based error function lacks a gradient, which makes gradient descent based training difficult. A genetic training algorithm, based on evolution, can train neural networks without requiring a gradient, and it has been shown that genetic training algorithms can solve rank based problems.
A genetic algorithm is governed by hyperparameters that influence strategies when searching for a solution. In this project we investigate if using recommended hyperparameters is fine, or if... (More) - Artificial neural networks have been used to solve different problems, one being survival analysis of medical data. For survival analysis, the main interest is often how samples become sorted by their outputs, which makes survival analysis a rank based problem. A rank based error function lacks a gradient, which makes gradient descent based training difficult. A genetic training algorithm, based on evolution, can train neural networks without requiring a gradient, and it has been shown that genetic training algorithms can solve rank based problems.
A genetic algorithm is governed by hyperparameters that influence strategies when searching for a solution. In this project we investigate if using recommended hyperparameters is fine, or if hyperparameter searches should be done for new projects.
An optimization of hyperparameters could be useful, but it was only a slight improvement over the mean error for all tested parameter combinations. However, different methods that add a decay to mutation size over time seemed to have a large impact. (Less) - Popular Abstract (Swedish)
- Artificiella neuronnät är en mer och mer populär del av maskininlärning. Nätverken byggs upp av sammankopplade noder, där varje nod är en simpel matematisk modell av en neuron.
Neuronnät kan användas för att lösa olika problem, t.ex. överlevnadsanalys inom medicin. Ett exempel på överlevnadsanalys är uppskattning av tiden innan ett återfall av cancer efter en tumör har tagits bort, baserat på t.ex. ålder och tumörstorlek. Det finns olika metoder för att träna nätverken så att de kan lösa problem. En metod som kan användas för att träna neuronnät till överlevnadsanalys är en genetisk metod, löst baserad i evolution. Med en genetisk träningsmetod görs en population av nätverk, som får mutera eller para sig i många generationer där bara de... (More) - Artificiella neuronnät är en mer och mer populär del av maskininlärning. Nätverken byggs upp av sammankopplade noder, där varje nod är en simpel matematisk modell av en neuron.
Neuronnät kan användas för att lösa olika problem, t.ex. överlevnadsanalys inom medicin. Ett exempel på överlevnadsanalys är uppskattning av tiden innan ett återfall av cancer efter en tumör har tagits bort, baserat på t.ex. ålder och tumörstorlek. Det finns olika metoder för att träna nätverken så att de kan lösa problem. En metod som kan användas för att träna neuronnät till överlevnadsanalys är en genetisk metod, löst baserad i evolution. Med en genetisk träningsmetod görs en population av nätverk, som får mutera eller para sig i många generationer där bara de bästa nätverken överlever, tills de kan lösa problemet väl.
Det här projektet testar hur olika parametrar i den genetiska träningsalgoritmen kan optimeras för överlevnadsanalys. Dessa parametrar definierar olika saker i algoritmen, t.ex. hur ofta neuronnät muteras istället för att paras eller hur föräldrar väljs till parning.
Neuronnät kan redan lösa de här problemen, men inte mycket bättre än andra metoder. Om den genetiska algoritmen kan optimeras så kan det, tillsammans med andra förbättringar, leda till att neuronnät kan bättre lösa problem inom överlevnadsanalys och om neuronnät blir bättre kan det hjälpa läkare bättre diagnostisera patienter. Det skulle också kunna lära läkare om kopplingar mellan symptom, patientuppgifter och sjukdom, och därav ge bättre förståelse om sjukdomen. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/8945370
- author
- Siwe, Ludvig LU
- supervisor
-
- Patrik Edén LU
- organization
- course
- FYTK02 20181
- year
- 2018
- type
- M2 - Bachelor Degree
- subject
- keywords
- Artificial Neural Network, Genetic Algorithm, Survival Analysis
- language
- English
- id
- 8945370
- date added to LUP
- 2018-06-08 08:47:48
- date last changed
- 2018-06-12 11:14:57
@misc{8945370,
abstract = {{Artificial neural networks have been used to solve different problems, one being survival analysis of medical data. For survival analysis, the main interest is often how samples become sorted by their outputs, which makes survival analysis a rank based problem. A rank based error function lacks a gradient, which makes gradient descent based training difficult. A genetic training algorithm, based on evolution, can train neural networks without requiring a gradient, and it has been shown that genetic training algorithms can solve rank based problems.
A genetic algorithm is governed by hyperparameters that influence strategies when searching for a solution. In this project we investigate if using recommended hyperparameters is fine, or if hyperparameter searches should be done for new projects.
An optimization of hyperparameters could be useful, but it was only a slight improvement over the mean error for all tested parameter combinations. However, different methods that add a decay to mutation size over time seemed to have a large impact.}},
author = {{Siwe, Ludvig}},
language = {{eng}},
note = {{Student Paper}},
title = {{Optimizing Genetic Training Parameters for Neural Networks in Survival Analysis}},
year = {{2018}},
}