Advanced

Evaluation of Artificial Neural Networks for Predictive Maintenance

Buhl, Anders LU and Hjertén, Hugo LU (2018) In LU-CS-EX: 2018-03 EDAM05 20181
Department of Computer Science
Abstract
This thesis explores Artificial Neural Networks (ANNs) for predictive time series classification for Predictive Maintenance (PdM). Time slicing and time shifting are methods used, to enable the models to find features over time, and to predict into the future, respectively. Architectures of increasing complexity are explored for Feed Forward Neural Networks (FFNNs), Convolutional Neural Networks (CNNs) & Long Short-Term Memory (LSTM) networks, of which the best performing are compared. CNNs & LSTM are found to perform better than FFNNs since they are designed to handle sequences of data. This research shows that a model with high accuracy might in fact be a bad model for PdM, especially when the data set is imbalanced. Additional metrics... (More)
This thesis explores Artificial Neural Networks (ANNs) for predictive time series classification for Predictive Maintenance (PdM). Time slicing and time shifting are methods used, to enable the models to find features over time, and to predict into the future, respectively. Architectures of increasing complexity are explored for Feed Forward Neural Networks (FFNNs), Convolutional Neural Networks (CNNs) & Long Short-Term Memory (LSTM) networks, of which the best performing are compared. CNNs & LSTM are found to perform better than FFNNs since they are designed to handle sequences of data. This research shows that a model with high accuracy might in fact be a bad model for PdM, especially when the data set is imbalanced. Additional metrics such as Confusion Matrices and Receiver Operating Characteristic (ROC)-curves are needed to evaluate models. This thesis shows that consistent, representative and a lot of data of good quality is needed for a well performing ANN. ANNs for PdM reduces the required domain knowledge, and perform well for common/frequent classes, but less so for the less frequent classes. (Less)
Popular Abstract (Swedish)
Maskinindustrin producerar ständigt stora mängder data som ofta förblir outnyttjad. Data som hade kunnat användas för att förbättra underhållsrutiner och därmed minska frekvensen för maskinfel och öka produktionskvaliteten. Underhåll idag kan delas upp i två delar, åtgärdande underhåll och förebyggande underhåll. Åtgärdande underhåll utförs när en maskin har gått sönder. Förebyggande underhåll utförs innan en maskin går sönder och det utförs för att förebygga och undvika att maskinen går sönder. I stort kan förebyggande underhåll delas upp i tidsbestämt underhåll och tillståndsbestämt underhåll. Tidsbestämt undrehåll innebär att alla maskiner följer samma underhållsschema, t.ex. att de underhålls en gång i månaden.

Alternativet är... (More)
Maskinindustrin producerar ständigt stora mängder data som ofta förblir outnyttjad. Data som hade kunnat användas för att förbättra underhållsrutiner och därmed minska frekvensen för maskinfel och öka produktionskvaliteten. Underhåll idag kan delas upp i två delar, åtgärdande underhåll och förebyggande underhåll. Åtgärdande underhåll utförs när en maskin har gått sönder. Förebyggande underhåll utförs innan en maskin går sönder och det utförs för att förebygga och undvika att maskinen går sönder. I stort kan förebyggande underhåll delas upp i tidsbestämt underhåll och tillståndsbestämt underhåll. Tidsbestämt undrehåll innebär att alla maskiner följer samma underhållsschema, t.ex. att de underhålls en gång i månaden.

Alternativet är tillståndesbestämt underhåll, där maskinens hälsotillstånd övervakas. Det möjliggör för individuellt underhållsschema för varje maskin, vilket minskar frekvensen av service av maskiner som inte är i behov av service och ser till att service istället sätts in i rätt tid. Prediktivt underhåll är en typ av tillståndsbestämt underhåll, där felkoder förutspås för att kunna sätta in rätt åtgärder för att undvika felet. Det leder till minskad miljöpåverkan och ökade ekonomiska marginaler.

Ett sätt att utföra prediktivt underhåll är att låta maskininlärningsmodeller lära sig från tidigare data. Inom examensarbetet utvecklades artificiella neuronnätverksmodeller som tränades för att förutspå felkoder tre timmar framåt i tiden. Tre olika typer av artificiella neuronnätverk utvecklades och jämfördes, varav två är designade för att hantera data sparad över tid och därmed lättare kan hitta samband över tid.

Ofta arbetar maskiner i normaltillstånd större delen av tiden, alltså är det mesta av den tillgängliga datan utan några felkoder. Det leder till att modellen har en tendens att tränas för att enbart förutspå att modellen fungerar normalt. Exempelvis kommer en modell, som påstår att maskinen alltid fungerar normalt, uppnå en noggrannhet på 60% om maskinen fungerar normalt 60% av tiden. Ur underhållssyfte är det en helt värdelös prediktion, då det är viktigare att kunna förutspå felkoderna.

Vi ser det som en möjlighet att förbättra vår modell genom att förbättra och berika datan. Förmågan att kunna träna artificiella neuronnätverk, samt möjligheten för en bra prestanda, är starkt beroende både på den kvantitativa och den kvalitativa tillgången av data. (Less)
Please use this url to cite or link to this publication:
author
Buhl, Anders LU and Hjertén, Hugo LU
supervisor
organization
alternative title
Feed Forward, Convolutional & LSTM Artificial Neural Networks for Predictive Time Series Classification of Machine Generated Data
course
EDAM05 20181
year
type
H3 - Professional qualifications (4 Years - )
subject
keywords
Predictive Maintenance, Time Series Classification, Machine Learning, Artificial Neural Networks, FFNN, CNN, LSTM
publication/series
LU-CS-EX: 2018-03
report number
LU-CS-EX 2018-03
ISSN
1650-2884
language
English
id
8964978
date added to LUP
2019-01-07 15:33:04
date last changed
2019-01-07 15:33:04
@misc{8964978,
  abstract     = {This thesis explores Artificial Neural Networks (ANNs) for predictive time series classification for Predictive Maintenance (PdM). Time slicing and time shifting are methods used, to enable the models to find features over time, and to predict into the future, respectively. Architectures of increasing complexity are explored for Feed Forward Neural Networks (FFNNs), Convolutional Neural Networks (CNNs) & Long Short-Term Memory (LSTM) networks, of which the best performing are compared. CNNs & LSTM are found to perform better than FFNNs since they are designed to handle sequences of data. This research shows that a model with high accuracy might in fact be a bad model for PdM, especially when the data set is imbalanced. Additional metrics such as Confusion Matrices and Receiver Operating Characteristic (ROC)-curves are needed to evaluate models. This thesis shows that consistent, representative and a lot of data of good quality is needed for a well performing ANN. ANNs for PdM reduces the required domain knowledge, and perform well for common/frequent classes, but less so for the less frequent classes.},
  author       = {Buhl, Anders and Hjertén, Hugo},
  issn         = {1650-2884},
  keyword      = {Predictive Maintenance,Time Series Classification,Machine Learning,Artificial Neural Networks,FFNN,CNN,LSTM},
  language     = {eng},
  note         = {Student Paper},
  series       = {LU-CS-EX: 2018-03},
  title        = {Evaluation of Artificial Neural Networks for Predictive Maintenance},
  year         = {2018},
}