Industrial Machine Monitoring: Real-Time Anomalous Sound Event Detection on Low-Powered Devices

Abstract

Traditionally fault detection in industrial machinery has been performed manually by experienced machine operators listening to the machines. However, it is desirable to automate this process to increase efficiency and improve the working environment of the operators. The main challenge in this thesis is to create a system that can accurately detect when an anomalous sound event occurs, at the same time the system may not report too many false alarms. Additionally, the system must perform the detection fast enough for the detected anomalies to still be relevant. This thesis therefore explores lightweight machine learning approaches to anomalous sound event detection, such as Gaussian Mixture Models (GMM) and One-Class Support Vector Machines (OCSVM). The experiments evaluate how low-level descriptors from the time-, spectral- and cepstral-domain perform as features modeling the characteristics of a sound segment. Another set of experiments evaluates if it is possible to detect anomalies fast enough to achieve real-time anomaly detection. Lastly, a real-time anomaly detection application based on the findings is presented together with the results for a few test runs. The results indicate that it is possible to detect anomalies of sufficient magnitude in relation to the expected signal. Furthermore, it is found that it is possible to detect anomalies at a speed fast enough to enable real-time anomaly detection on limited hardware such as a Raspberry Pi 4.

Popular Abstract (Swedish)

Detektion av ljudanomalier är en viktig pusselbit i strävan mot att nå den fjärde industriella revolutionen. Automatiserad övervakning av industriella maskiner upptäcker fel innan de får förödande konsekvenser.

I en industriell miljö finns det ett behov av att ha uppsikt över maskinernas välmående. Erfarna maskinoperatörer lär sig med tiden hur en specifik maskin bör låta och kan identifiera när en maskin låter felaktigt och är på väg att sluta fungera. Fördelen med att använda ljud är att det ofta är möjligt att lyssna under tiden som en maskin är igång, medan visuell inspektion ofta kräver att maskinen stoppas och tas isär, vilket leder till stopp i produktionen.

Det är av flera anledningar önskvärt att automatisera processen och låta ett system lyssna på maskinerna istället för en människa. Det kan ta flera år för en människa att bygga upp tillräckligt med erfarenhet för att lära sig hur en maskin bör låta, för enklare ljud klarar våra modeller av att göra det efter ett par minuter av träning. Industriella processer sker ofta i en bullrig miljö med hög ljudvolym vilket kan vara påfrestande och rent av skadligt för en människa, genom att avlasta operatörerna och överlämna arbetet till ett system förbättras arbetsmiljön för operatörerna. Ett automatiserat system ger även möjligheten att öka täckningsgraden, eftersom det kan köras under dygnets alla timmar och är därför inte beroende av att en specifik operatör är på plats vid rätt tillfälle.

I det här arbetet jämför vi hur två olika modeller, Gaussian Mixture Model (GMM) och One-Class Support Vector Machine (OCSVM) lämpar sig för att upptäcka ljudanomalier och hur snabbt det går. Vi utgick från inspelat ljud av industriella fläktar i en fabriksmiljö, och låter modellerna lära sig hur en specifik maskin bör låta. Inspelningarna modifieras sedan för att simulera en störning av maskinen. Det är sedan modellernas uppgift att upptäcka störningar som avviker tillräckligt mycket från det förväntade ljudet. Det är ofta en balansgång mellan att låta systemet vara känsligt nog för att kunna upptäcka avvikelser, utan att skapa för många falsklarm. Hela processen måste dessutom gå snabbt! Det är viktigt att systemet varnar för avvikelser så fort som möjligt för att ge operatörerna möjlighet att hantera problemet innan det är för sent.

Resultaten visar att våra modeller lyckas upptäcka stora avvikelser med väldigt goda resultat. När avvikelserna är lika stora som signalen de stör, upptäcks upp till 70% av avvikelserna. I genomsnitt krävs det 5% av längden av ett ljudklipp för att upptäcka om det innehåller några anomalier, det vill säga, det tar bara 0.05 sekunder att upptäcka om ett 1 sekund långt klipp innehåller några anomalier. Det innebär att det är möjligt att utföra detektion i realtid.

Utifrån resultaten har vi skapat ett system som lyssnar på en fungerande maskin under ett par minuter. Därefter så analyseras ljudet och systemet skapar en modell över hur maskinen bör låta. Därefter körs en algoritm som kontinuerligt lyssnar och jämför inkommande ljud, om ljudet avviker för mycket från modellen så indikerar det att en maskin beter sig felaktigt.

• author: Magnusson, Alexander and Andersson, Anton
• supervisor: Maria Sandsten; Rickard Jönsson; Anders Sandberg
• organization: Mathematical Statistics
• course: FMSM01 20231
• year: 2023
• type: H2 - Master's Degree (Two Years)
• subject: Mathematics and Statistics
• keywords: Anomaly Detection, Sound Event Detection, MFCC, GMM, OCSVM
• publication/series: Master’s Theses in Mathematical Sciences
• report number: LUTFMS-3485-2023
• ISSN: 1404-6342
• other publication id: 2023:E58
• language: English
• id: 9129424
• date added to LUP: 2023-06-26 09:27:27
• date last changed: 2023-06-26 09:27:27