On the Utility of Representation Learning Algorithms for Myoelectric Interfacing

Abstract

Electrical activity produced by muscles during voluntary movement is a reflection of the firing patterns of relevant motor neurons and, by extension, the latent motor intent driving the movement. Once transduced via electromyography (EMG) and converted into digital form, this activity can be processed to provide an estimate of the original motor intent and is as such a feasible basis for non-invasive efferent neural interfacing. EMG-based motor intent decoding has so far received the most attention in the field of upper-limb prosthetics, where alternative means of interfacing are scarce and the utility of better control apparent. Whereas myoelectric prostheses have been available since the 1960s, available EMG control interfaces still lag behind the mechanical capabilities of the artificial limbs they are intended to steer—a gap at least partially due to limitations in current methods for translating EMG into appropriate motion commands. As the relationship between EMG signals and concurrent effector kinematics is highly non-linear and apparently stochastic, finding ways to accurately extract and combine relevant information from across electrode sites is still an active area of inquiry.

This dissertation comprises an introduction and eight papers that explore issues afflicting the status quo of myoelectric decoding and possible solutions, all related through their use of learning algorithms and deep Artificial Neural Network (ANN) models. Paper I presents a Convolutional Neural Network (CNN) for multi-label movement decoding of high-density surface EMG (HD-sEMG) signals. Inspired by the successful use of CNNs in Paper I and the work of others, Paper II presents a method for automatic design of CNN architectures for use in myocontrol. Paper III introduces an ANN architecture with an appertaining training framework from which simultaneous and proportional control emerges. Paper Iv introduce a dataset of HD-sEMG signals for use with learning algorithms. Paper v applies a Recurrent Neural Network (RNN) model to decode finger forces from intramuscular EMG. Paper vI introduces a Transformer model for myoelectric interfacing that do not need additional training data to function with previously unseen users. Paper vII compares the performance of a Long Short-Term Memory (LSTM) network to that of classical pattern recognition algorithms. Lastly, paper vIII describes a framework for synthesizing EMG from multi-articulate gestures intended to reduce training burden.

Abstract (Swedish)

När vi människor försöker röra på oss skickas elektriska impulser genom nervsystemet från hjärnan ner till de muskler som är inblandade i den tilltänkta rörelsen. Att kunna mäta sådana nervimpulser hade varit av värde för en rad tillämpningar—information hade då kunnat överföras direkt från nervsystemet utan att gå via långsamma, mekaniska gränssnitt så som tangentbord och pekskärmar. Olyckligtvis är det i dagsläget både svårt och riskfyllt att mäta nervimpulser direkt. Motoriska nerver är små och omgivna av vävnad och kräver därför svåra kirurgiska ingrepp för att nås.

Ett långt mer praktiskt alternativ är att istället utnyttja den elektriska aktivitet som uppstår i själva musklerna när nervinpulserna når fram dit. På grund av sin biokemiska sammansättning genomgår muskelfibrer under sammandragning elektriska urladdningar som till sin natur är mycket lika de som nervcellerna själva genomgår. Eftersom muskler är mycket större än nerver uppstår elektriska signaler som är mycket starkare än de bakomliggande nervimpulserna—muskelgenererad elektrisk aktivitet i till exempel underarmen är kraftfull nog att mätas från huden. En teknik som kan användas för att mäta aktiviteten kallas yt-elektromyografi, förkortat EMG, och är typsikt inte mer krånglig än att elektroder (egentligen bara små bitar metall) placeras intill muskeln eller musklerna som ska mätas. Signaler som samlas in på detta vis kan, efter lämplig behandling, i teorin användas för att erhålla den avsikt som låg bakom rörelsen. Begreppet ”i teorin” utför mycket av arbetet i föregående mening; sambandet mellan muskelsignaler och rörelseavsikt är mycket komplicerat och kräver särskilda algoritmer för att avkodas. Denna avhandling handlar om sådana algoritmer.

Ett välkänt användningsområde för metoder som härleder rörelseavsikt från muskelsignaler är protesstyrning. Bland de muskler som styr handen är flertalet belägna i underarmen, så vid handamputation är det sannolikt att muskler bevaras och utgör förstärkare av de nervimpulser som inte längre resulterar i rörelse. Så kallade myoelektriska proteser kan styras av signaler från sådana muskler. Trots att tekniken funnits länge har denna typ av protes relativt svagt genomslag, och många amputerade väljer att inte använda sin protes alls. Att styrningen inte är naturlig eller exakt nog uppges ofta som ett skäl till missnöje. Detta kan jämföras med samtida protesers mekaniska förmågor, vilka i mångt och mycket motsvarar den naturliga handens.

Arbetet som presenteras i denna avhandling handlar om att utveckla och förbättra metoder som kan användas för att extrahera rörelseavsikt från muskelsignaler, med protesstyrning och andra typer av människa-datorinteraktion som möjliga tillämpningar. Konkret presenteras ett antal inlärningsalgoritmer för detta ändamål, förenade i att de helt eller delvis använder sig utav djupa artificiella neuronnät. Sådana algoritmer kan lära sig att känna igen mönster i muskelsignalerna som är specifika för vissa rörelser och använda denna information för att sluta sig till användarens avsikt. På sådant vis behöver inte det komplicerade sambandet mellan avsikt och muskelaktivitet modelleras explicit; det kan istället läras från exempel (så kallad träningsdata) i form av muskelsignaler som samlas in från den tilltänka användaren. Ett antal fördelar särskiljer de förslag som presenteras i denna avhandlings 8 artiklar från tidigare forskning inom samma fält. Som exempel presenteras metoder som tillåter samtidig styrning av flera frihetsgrader (t. ex. enskilda fingrar). Vidare presenteras en metod som möjliggör styrning som är proportionell mot den underliggande muskelaktivitetens intensitet, trots att träningsdatan bara behöver samlas in under en kontraktionsstyrka. Det introduceras häri även en neuronnätsmodell som kan avkoda rörelseavsikt direkt från nya användare utan behov att samla in ny träningsdata. Sådana egenskaper är tänkta att tillåta framtida gränssnitt mellan muskler och externa enheter som är både mer exakta och mer naturliga än de alternativ som finns tillgängliga idag.

• author: Olsson, Alexander
• supervisor: Christian Antfolk; Nebojsa Malesevic; Anders Björkman
• opponent: Associate Prof. Scheme, Erik, University of New Brunswick, Canada.
• organization: Department of Biomedical Engineering; LTH Profile Area: Engineering Health
• publishing date: 2023
• type: Thesis
• publication status: published
• subject: Medical Engineering; Signal Processing; Interaction Technologies
• keywords: EMG, Machine Learning, Deep Learning, Feature Learning, Biosignal Processing, Gesture Recognition, Muscle-Computer Interfaces, Myoelectric Control, Upper-Limb Prosthetics
• defense location: Lecture Hall E:B, building E, Ole Römers väg 3, Faculty of Engineering LTH, Lund University, Lund.
• defense date: 2023-06-09 09:15:00
• ISBN: 978-91-8039-736-0
• ISBN: 978-91-8039-735-3
• language: English
• LU publication?: yes
• id: 5a62cd43-eedf-437e-8817-912c9a572979
• date added to LUP: 2023-05-15 14:56:40
• date last changed: 2024-03-12 11:56:25