Assessment of Movement Quality with Deep Learning for Identifying Postural Orientation Errors

Abstract

Rehabilitation exercises are essential for recovery from many injuries, and their practice is guided by physical therapists in order to avoid the risk of further damage. The physical therapists have limited tools for conducting a quantified assessment of movement quality and this study investigates whether machine learning could be used to improve that process. A way to assess movement is to analyze the Postural Orientation Errors (POEs). These are the errors that occur when the alignment between body segments and the environment during an activity is poor. This study aims to train machine learning models to assess POEs based on video data.

There were 443 videos of patients performing the stair descent task which were labeled according to the two POEs Femoral Valgus (FV) and Femur Medial to Shank (FMS). Human Pose Estimation (HPE) was used to identify body parts (keypoints) in the videos. MMDetection and MMPose were applied to translate the movement in the video into data files containing coordinates for the relevant keypoints of the POEs. These data files were used as input for the models, along with sheets listing file names and their assigned labels for FV and FMS. Four different models were trained to label the POEs using the keypoint coordinates from the data files.

A Convolutional Neural Network (CNN) model called InceptionTime was used, including variations with weighting and ensemble combinations. For FV, an InceptionTime ensemble without weights performed best, with an F1-score of 0.549. For FMS, the same InceptionTime ensemble, but instead with weights, achieved the best performance with an F1-score of 0.460. The effect of increasing the training data was also examined. The training set was augmented by 10\% and the best models were trained and validated five times, using a different validation set for each iteration. This resulted in an average F1-score of 0.369 for FV and an average F1-score of 0.349 for FMS, both lower than the previous results. This indicates that simply adding more data does not necessarily improve model performance.

These results highlight that while machine learning can be useful for assessing movement quality, the model performance depends on the distribution of training data. For future improvements, it is essential not only to ensure a more balanced and representative dataset, but also to consider refining the model architecture and exploring alternative model types.

Popular Abstract (Swedish)

Denna studie undersöker om maskininlärning kan användas för att förbättra bedömningen av rehabiliteringsövningar. Resultatet visade att metoden har potential, men att det krävs ytterligare studier för att utveckla en användbar lösning.

Rehabiliteringsövningar är en viktig del av återhämtningen från skador och för att den ska bli korrekt krävs hjälp från en fysioterapeut. Fysioterapeuten guidar patienten vid övningarna och korrigerar om de utförs på ett felaktigt sätt. Idag begränsas fysioterapeutens bedömning av brist på både tid och verktyg. Denna studie undersöker om maskininlärning kan användas för att förbättra och effektivisera bedömningen av patientens rörelsemönster.

För detta arbete analyserades videor där patienter utförde en rörelse. Rörelsen innebar att patienten stod på en stepbräda, tog ett steg ner med ett ben och sedan följde efter med det andra. Det efterföljande benet belastades av kroppsvikten och var därför det ben vars rörelse skulle bedömas. Alla videor bedömdes av fysioterapeuter enligt en skala från 0 till 2, där sämst rörelsekvalitet bedömdes med 2 och mest korrekt bedömdes med 0. Två olika bedömningar skedde genom att titta på hur stort felen i rörelsen var. Det ena felet bedömdes utifrån storleken på vinkeln mellan en vertikal linje och linje mellan knät och höften. Det andra felet beskrevs av storleken på det horisontella avståndet mellan mittpunkten på lårbenet till mittpunkten på skenbenet.

Den första fasen av arbetet gick ut på att använda maskininlärning för att identifiera patienter och dess kroppsdelar i videorna. Det skapades filer med information om hur kroppsdelarna rörde sig under repetitionerna. Dessa filer bestod av de olika kroppsdelarnas koordinater och enbart de relevanta kroppsdelarna behölls i filerna. Dessa filer, tillsammans med sina respektive bedömningar, användes som indata till olika maskininlärningsmodeller. Modellerna tränades på att göra bedömningar av felen baserat på hur kroppsdelarna rörde sig i förhållande till varandra.

Efter att modellerna hade tränats så validerades de. Valideringen visade bristande resultat för alla modeller. Modellerna gjorde många korrekta bedömningar av de fel som bedömts som 0, flera korrekta av de som bedömts som 1, men endast ett fåtal korrekta prediktioner av fel som bedömts som 2. Studien drog slutsatsen att maskininlärning är användbart inom detta område men att datasetet inte var tillräckligt balanserat, det behöver vara mer spritt för att modellerna ska kunna ge korrekta bedömningar. Modellerna kan också förbättras och vidare studier krävs för att utveckla en användbar metod.

• author: Nimvik, Tove and Öhlin, Nora
• supervisor: Andreas Jakobsson
• organization: Mathematical Statistics
• alternative title: Användning av maskininlärning för bedömning av rörelsekvalitet hos patienter inom rehabilitering
• course: FMSM01 20251
• year: 2025
• type: H2 - Master's Degree (Two Years)
• subject: Mathematics and Statistics
• keywords: Convolutional Neural Networks, Femur Medial To Shank, Femoral Valgus, Human Pose Estimation, Postural Orientation Error, Stair Descent
• publication/series: Master's Thesis in Mathematical Sciences
• report number: LUTFMS-3524-2025
• ISSN: 1404-6342
• other publication id: 2025:E60
• language: English
• id: 9196222
• date added to LUP: 2025-06-13 11:46:56
• date last changed: 2025-06-13 11:46:56