VEARM - En hjälpande hand

Abstract (Swedish)

I detta arbete skapades en virtuell människomodell som placerades i ett virtuellt rum med omgivande miljö. Dessa modeller skapades i 3D-modelleringsprogrammet Autodesk 3ds Max i kombination med det digitala skulpterings- och målningsprogrammet Autodesk Mudbox. Motorn som valdes för att driva simuleringen var Unity 5. Det är en spelmotor som valdes för att ge en ökad realism över klassiska simuleringsprogram såsom Matlab och LabVIEW. Det var i denna spelmotor som den omgivande miljön skapades.
För att styra människomodellen kan antingen sensorer implementeras direkt i spelmotorn, vilket gjordes med sensoruppsättningen Myo från Thalmic, eller från rotationsinformation sänd från Matlab, vilket gjordes med sensoruppsättningen CyberGlove I.
För att kunna skicka information mellan Matlab och Unity implementerades en TCP/IP-länk, där Matlab agerar server medan Unity agerar klient och kopplar upp sig mot Matlab-servern. Detta skedde lokalt på samma dator men styrningen hade även kunnat ske från ett externt system.
Slutresultatet blev en väl fungerande modell där händer och ben ser realistiska ut i rörelse. Den begränsande faktorn för hur väl människomodellen följer de verkliga rörelserna är hur väl sensoruppsättningen detekterar dessa.
Vissa problem uppstod vid armbågarna då underarmen roterades runt flera axlar samtidigt vilket hade kunnat förbättras med en bättre modellering av de styrande benen. Detta hade dock inneburit en högre prestandabelastning och en ökad styrningskomplexitet. Rörelser i ryggrad och axlar drabbas av samma effekt men detta syns inte under simuleringen. Större möjlighet till att skräddarsy människomodellen hade även kunnat implementeras där kön, hudton, höjd och kroppsbyggnad varit variabler. Detta verktyg stöder endast en människomodell av en kaukasisk man.
De användningsområden som implementerats ger möjlighet till protesträning och spegelterapi, men med mindre modifikationer kan användningsområdena utökas mycket. Den största begränsande faktorn är utvecklarens fantasi.

Abstract

During this project a virtual human model was created and placed in a virtual room with a surrounding environment. These models were created in the 3D modeling software Autodesk 3ds Max, in combination with the digital sculpting and painting software Autodesk Mudbox. The chosen engine to run the simulation was the game engine Unity 5 with the reason to provide an increased realism over classic simulation programs such as Matlab and LabVIEW. The surrounding environment was also created in this engine.
To control the human model sensors can be directly implemented into the game engine, which was done with the sensor system Myo from Thalmic. An alternative is by acquiring the sensors data in Matlab and sending the corresponding rotation data to Unity, which was done with the sensor system CyberGlove I.
In order to send information between Matlab and Unity a TCP/IP link was implemented, where Matlab acts as the server while Unity acts as a client who connects to the Matlab server. This was done locally on the same computer, but it is also possible to control the model from an external system.
The end result was a well-functioning human model in which the hands and legs look realistic in motion. The limiting factor of how well the model follows the real motion is how well the sensors can detect these.
Some problems where noted when the elbows were rotated in several directions simultaneously, which could have been prevented by a more realistic set of bones. This would however lead to a higher performance demand on the running system and it would increase the complexity of the tool. Movements in the spine and shoulders suffer from the same effect, but these parts are not visible during the simulation. A greater possibility to customize the human model would also create a better experience for the user, where gender, skin tone, height and build could be variables. This tool only has one human model of a Caucasian male included.
The implemented applications provide the ability for prosthetics training and mirror therapy, but with minor modifications the tool can be customized to fit most applications. The biggest limiting factor in this process would be the developer's imagination.

Popular Abstract (Swedish)

Ett virtuellt rehabiliteringsprogram för protesträning och behandling av fantomsmärtor
VEARM är en virtuell människomodell som går att styra med sensorer fästa på användarens verkliga kropp. Verktyget är bland annat framtaget för att underlätta protesutveckling, då detta i dagsläget är en väldigt lång och dyr process. Dessutom lämpar sig även verktyget för rehabilitering av fantomsmärtor.
VEARM (Virtual Environment Arm) är ett verktyg som går att använda för många olika saker. Det är främst framtaget för att användas vid protesträning, där patienter kan kalibrera och lära sig styra sina proteser innan de blivit levererade. Verktyget gör det även möjligt för utvecklare och terapeuter att tillsammans med patienten testa olika placeringar av protesens sensorer och snabbt testa hur väl de fungerar. Detta underlättar skräddarsydda sensoruppsättningar för varje patient eftersom alla placeringar kan testas och bestämmas utan att prototyper av protesen behöver beställas. Att kunna skräddarsy varje patients protes är ett mål som i dagsläget inte går att uppfylla. Anledningen till att alla inte kan använda samma protes likaväl grundar sig på den stora variation som finns bland patienters individuella förutsättningar och mål. Faktorer som påverkar detta är till exempel under vilka aktiviteter de vill använda sin protes och hur mycket tid de är beredda att lägga på att lära sig styra protesen väl. En ung aktiv patient som spelar gitarr behöver till exempel en mycket mer avancerad protes än en äldre patient som är nöjd med att kunna stödja sig mot sin protes och vill kunna använda den direkt.
Ett annat område som är på frammarsch när det gäller proteser är känselåterkoppling som ger patienten möjlighet att kunna känna vad protesen rör vid. Även här kan verktyget användas för att testa hur många olika kanaler som användaren vill ha känselåterkoppling på. Vill patienten till exempel kunna känna om varje enskilt finger rör vid något eller räcker det med en signal som visar om handen rör vid något över huvud taget? Hur stark ska denna återkoppling vara? Hur känslig och hur stor variation ska återkopplingen kunna erbjuda? Detta är frågor som verktyget kan underlätta att besvara.
Ytterligare ett användningsområde är rehabilitering av fantomsmärtor. Detta är smärtor som ofta uppstår i förlorade kroppsdelar, där patienten till exempel upplever sig ha ont i en förlorad hand. En metod som används i dagsläget är att patienten placerar sin stump bakom en spegel som reflekterar den friska kroppsdelen. Då ges illusionen av att spegelbilden är en riktig kroppsdel och genom att utföra olika övningar och avslappningar dämpas fantomsmärtan. I bästa fall försvinner fantomsmärtorna för gott efter ett flertal rehabiliteringstillfällen, men detta är tyvärr inte alltid fallet. Denna rehabilitering ställer även krav på att den motsatta sidans kroppsdel ska vara frisk. Ett nytt sätt att behandla detta på är att avläsa muskelsignalerna i stumpen och koppla dem mot en virtuell arm som dessa rehabiliteringsövningar utförs med. Eftersom rätt muskler då används för att styra den virtuella armen blir rehabiliteringen mer verklighetstrogen och illusionen av att armen tillhör patienten starkare. Rehabiliteringen kan även göras roligare genom att koppla styrningen mot spel.
Slutligen kan verktyget även användas för att träna upp rörligheten i armar och händer hos strokepatienter. Fördelen med ett virtuellt träningsverktyg är en roligare rehabilitering där patienten får konsekvent återkoppling på hur väl övningarna utförts. Det är nämligen ett problem i dagsläget då patienten behöver göra många övningar på egen hand, vilket snabbt leder till en lägre motivation och sämre utförda övningar. Svårighetsgraden på övningarna är också lättare att öka allteftersom.
För att hålla verktyget generellt går människomodellen att styra via det väletablerade beräkningsprogrammet Matlab. Till detta kan alla möjliga sensorer och återkopplingssystem kopplas, och signalen kan behandlas och manipuleras av utvecklare och terapeuter.
Läs hela rapporten ”VEARM – En hjälpande hand” skriven av Saša Kojić på LUP.

• author: Kojic, Sasa
• supervisor: Christian Antfolk
• organization: Department of Biomedical Engineering
• alternative title: VEARM - A helping hand
• course: BMEM01 20151
• year: 2015
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• keywords: Virtual Reality Rehabilitation, Virtual Environment Rehabilitation, Prosthesis Training, Prosthesis R&D, Stroke Rehabilitation, Mirror Therapy, Serious Games
• language: Swedish
• additional info: 2015-07
• id: 7358858
• date added to LUP: 2015-06-22 13:09:19
• date last changed: 2015-06-22 13:09:19