sEMG Classication with Convolutional Neural Networks: A Multi-Label Approach for Prosthetic Hand Control

Abstract

In myoelectric prosthesis design, there is often a trade-off between control robustness and range of executable movements. As a low movement error rate is necessary in any real application, this often results in a quite severe limitation on the dexterity of the user. One possible remedy for this could come from the use of multi-label machine learning methods, where complex hand movements can be expressed as the sum of several simple movements.

I investigate how effective state of the art deep learning methods are at classifying HD-sEMG signals. Notable weight is put on extracting multilabel information from both the spatial and temporal signal domain of EMG signals by use of convolutional neural networks (CNN). In addition, to investigate the feasibility of reducing the number of necessary electrodes, a novel method for quantifying channel importance is proposed.

I show that multi-label classication performance can rival that of classical single-label methods, even with a large set of labels. Despite the general stochasticity of sEMG signals, no manual feature engineering is necessary and a very short time window is suficient for accurate classication.

Popular Abstract (Swedish)

Klassificering av Elektromyogram med Faltningsneuronnätverk

På senaste tiden har metoder inom maskininlärning fått stort genomslag i en mängd akademiska discipliner och kommersiella tillämpningar. Speciellt intressanta är så kallade artificiella neuronnätverk; en klass av självlärande algoritmer som efterliknar informationsbehandling i biologiska system. I detta arbete nyttjades en specifik typ av sådant nätverk som kallas faltningsneuronnätverk (Convolutional Neural Network, eller CNN), känt från bildanalys, för att behandla elektromyografisk data med syftet att kunna styra handproteser. Till skillnad från tidigare, besläktade metoder användes en multilabel-model, där komplicerade rörelser kan representeras som en kombination av enklare handtillstånd.

Bland de muskler som är ansvariga för att styra den mänskliga handen och handleden, särskilt vad gäller böjning och utsträckning av fingrarna, är majoriteten belägna i underarmen. Även vid amputation eller annan handberövande händelse är det alltså sannolikt att en stor del av denna struktur bevaras. I den långa och mycket komplexa processkedja som styr handen, från att tanken uppstår till att själva rörelsen sker, är det i själva verket endast det absolut sista steget, själva manöverorganet, som skulle saknas. En typ av protes som nyttjar detta kvarvarande system för styrning är myoelektriska proteser.

När en muskel brukas genereras elektriska potentialskillnader i och kring sagda muskel, detta en direkt konsekvens av stimuleringen från nervsystemet. Resultatet av att mäta dessa spänningar kallas ett elektromyogram, eller EMG, och är mycket användbart i många kliniska och diagnostiska situationer. Myoelektriska handproteser använder sig utav EMG från återstoden av armen för att styra själva handen och/eller handleden. Trots att sådana anordningar funnits sedan 1950-talet så lider de fortfarande av flera väsentliga nackdelar som hindrar utbredd användning; i synnerhet svårighet med förutsägbarhet under användning och begränsning av antal möjliga handrörelser.

I detta arbete föreslogs en utveckling av det myoelektriska proteskonceptet som förhoppningsvis skulle minska denna nackdel med hjälp av moderna metoder från maskininlärning. Tanken är att det ska vara möjligt att automatiskt extrahera information om rörelser från EMG, så att användningen av protesen blir helt likvärdigt med att använda en riktig hand.

Mätningar gjordes med ett rutnät av elektroder placerade på huden längs armen på en försöksperson. Totalt bidrog 3 försökspersoner med mätdata medan de utförde handrörelser. Därefter förbehandlades dessa mätningar till en serie med bilder, där varje bild representerar det elektriska tillståndet i armen vid ett givet ögonblick. Varje sådan bild paras också med ett så kallat label set som beskriver handens och handledens tillstånd i mätögonblicket. Dessa bilder kunde sedan användas för att träna och utvärdera en bildklassificeringsalgoritm; i detta fall ett faltningsneuronnätverk, som försöker gissa vilket label set som passar för en given bild. Förhoppningen är då alltså att nätverket ska kunna generalisera och berätta vilken rörelse som sker i helt nya observationer.

Resultaten från metodiken ovan visade sig vara mycket lovande, med precision och känslighet på samma nivå som tidigare metoder trots den mycket stora mängden möjliga rörelser. Bäst resultat uppnåddes då nätverket tränades till att känna igen vilken rörelse som sker över en sekvens av bilder motsvarande ett tidsintervall och inte bara ett enskilt ögonblick. Det upptäcktes att det fanns stora skillnader i resultat för olika försökspersoner, något som antas bero på själva datainsamlingsmetoden som var känslig för felaktigt utföra rörelser.

• author: Olsson, Alexander
• supervisor: Nebojsa Malesevic
• organization: Department of Biomedical Engineering
• course: BMEM01 20181
• year: 2018
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• keywords: Electromyography, Machine Learning, Deep Learning, Gesture Recognition, Neural Networks
• language: English
• additional info: 2018-02
• id: 8935346
• date added to LUP: 2018-02-09 14:58:27
• date last changed: 2018-02-09 14:58:27