Skip to main content

LUP Student Papers

LUND UNIVERSITY LIBRARIES

Data Augmentation to Improve Cross-Domain Generalization in Deep Learning MRI Segmentation

Helander, Rasmus LU (2021) In Master's Theses in Mathematical Sciences FMAM05 20211
Mathematics (Faculty of Engineering)
Abstract
Semantic segmentation of medical images is an important task with many applications. However, manually delineating 3D images is time-consuming and the demand for automation is high.
For many image segmentation tasks, deep learning has provided state-of-the-art results. However, the varying nature of magnetic resonance (MR) images due to factors such as different machine vendors and clinical protocols has been found to lead to domain transfer issues for deep learning segmentation models.

This thesis aims to investigate three different data augmentation methods to remedy this domain generalization problem. We first consider a standard data augmentation approach and study the effects of applying stacked image processing functions to the... (More)
Semantic segmentation of medical images is an important task with many applications. However, manually delineating 3D images is time-consuming and the demand for automation is high.
For many image segmentation tasks, deep learning has provided state-of-the-art results. However, the varying nature of magnetic resonance (MR) images due to factors such as different machine vendors and clinical protocols has been found to lead to domain transfer issues for deep learning segmentation models.

This thesis aims to investigate three different data augmentation methods to remedy this domain generalization problem. We first consider a standard data augmentation approach and study the effects of applying stacked image processing functions to the training data. We then study the effects of including weakly labeled training samples from the unseen data domain in the training set. Lastly we study the effects of training a Cycle GAN to transfer labeled training samples to the unseen domain, and including this synthetic data in the training. The experiments are carried out on MRI data from three separate domains, where labeled training samples only exist for one of them. The studied methods are found to increase average DICE scores on the rectum and urinary bladder by 9-14% and 25-40% on the two unseen domains, and 95th percentile Hausdorff distances are decreased by 60-71% and 33-54%. Additionally, combining the use of unlabeled data from unseen domains with extensive image processing is found to further boost segmentation performance. (Less)
Popular Abstract (Swedish)
Ett steg närmare AI-segmentering av MR-bilder

Artificiell intelligens (AI) har på kort tid möjliggjort omfattande automatisering av många områden inom
medicinsk teknik. En förutsättning för de framsteg som gjorts är dock tillgång till stora mängder data, vilket
försvårar utvecklingen av nya lösningar inom bland annat bildanalys. Bristen på data har lett till att
alternativa tillvägagångssätt har föreslagits, som inte förutsätter lika stora datamängder. Tre sådana
metoder har med goda resultat testats för segmentering av bilder tagna med magnetkamera (MR-bilder).

Få har väl undgått att lägga märke till den våg av AI som svept över många delar av samhället de senaste åren.
Snabb och precis översättning på nätet, skräddarsydd... (More)
Ett steg närmare AI-segmentering av MR-bilder

Artificiell intelligens (AI) har på kort tid möjliggjort omfattande automatisering av många områden inom
medicinsk teknik. En förutsättning för de framsteg som gjorts är dock tillgång till stora mängder data, vilket
försvårar utvecklingen av nya lösningar inom bland annat bildanalys. Bristen på data har lett till att
alternativa tillvägagångssätt har föreslagits, som inte förutsätter lika stora datamängder. Tre sådana
metoder har med goda resultat testats för segmentering av bilder tagna med magnetkamera (MR-bilder).

Få har väl undgått att lägga märke till den våg av AI som svept över många delar av samhället de senaste åren.
Snabb och precis översättning på nätet, skräddarsydd reklam och mobiltelefoner med ansiktsigenkänning har
blivit skåpmat för många av oss, och ska man tro en del kvarstår inte många år tills självkörande bilar är lika
vanliga på våra gator som elsparkcyklar.

Många av de AI-genombrott vi sett sedan början av 2010-talet är i själva verket tillämpningar av en specifik del
inom AI, nämligen maskininlärning. Idén med detta område är att om man bara har tillräckligt stora
datamängder så kan man ”lära” datorer att extrahera information från ny data som kan användas för någon
specifik uppgift. Ett klassiskt exempel inom denna sfär är klassifikation av djurbilder, närmare bestämt bilder
på hundar och katter. Det har visat sig att om man visar ett stort antal bilder på dessa husdjur – tillsammans
med informationen om huruvida djuret på bilden är en hund eller en katt – så kan man till slut träna upp ett
datorprogram som lär sig att känna igen skillnaden.

AI förväntas av många spela en särskilt stor roll inom medicinsk teknik och en av aktörerna inom detta område
är RaySearch Laboratories, som tillhandahåller mjukvara som används i framtagandet av
strålbehandlingsplaner. Sådana planer tas idag fram genom en rad steg varav många är tidskrävande, och
automatisering kan därför frigöra tid för klinikerna vilket i slutändan leder till fler behandlade patienter.
Bildsegmentering är ett av de steg där maskininlärning bedöms kunna göra stor skillnad. Uppgiften består i att
dela upp bilder i intressanta regioner (till exempel organ och tumörer) och man har på senare tid gått alltmer
mot att göra detta med hjälp av maskininlärning. Kravet på stora datamängder finns dock även inom
segmentering, ny data är ofta dyrt och svårt att få tag på. Speciellt för bilder tagna med magnet-kamera är det
ett problem, eftersom sådana bilder kan skilja sig betydligt beroende på de vilken kamera och vilka
inställningar som användes för att ta bilden. I praktiken innebär det ofta att en AI-modell som tränats på bilder
ifrån en klinik helt misslyckas då man försöker använda den på en ny klinik.

I denna rapport undersöks tre metoder för data-augmentering för att komma till bukt med det här problemet.
I korthet innebär det att man i stället för att samla in ny data gör förändringar i den data man redan har, vilket
har varit ett framgångsrecept i många andra områden inom maskininlärning. Även för segmentering av MRbilder
visade sig metoderna ge stor effekt – tester på ett mindre antal bilder från nya kliniker (det vill säga,
kliniker som datorn inte tränat på) visade genomgående förbättrade segmenteringar än då ingen dataaugmentering
använts. Även om de resulterande modellerna ännu inte når samma nivå som mänskliga
experter bådar dessa resultat gott inför framtiden. (Less)
Please use this url to cite or link to this publication:
author
Helander, Rasmus LU
supervisor
organization
course
FMAM05 20211
year
type
H2 - Master's Degree (Two Years)
subject
keywords
deep learning, medical imaging, mri, segmentation, data augmentation, cyclegan, noisy labels
publication/series
Master's Theses in Mathematical Sciences
report number
LUTFMA-3445-2021
ISSN
1404-6342
other publication id
2021:E26
language
English
id
9056900
date added to LUP
2021-08-20 15:55:58
date last changed
2021-08-20 15:55:58
@misc{9056900,
  abstract     = {{Semantic segmentation of medical images is an important task with many applications. However, manually delineating 3D images is time-consuming and the demand for automation is high.
For many image segmentation tasks, deep learning has provided state-of-the-art results. However, the varying nature of magnetic resonance (MR) images due to factors such as different machine vendors and clinical protocols has been found to lead to domain transfer issues for deep learning segmentation models. 

This thesis aims to investigate three different data augmentation methods to remedy this domain generalization problem. We first consider a standard data augmentation approach and study the effects of applying stacked image processing functions to the training data. We then study the effects of including weakly labeled training samples from the unseen data domain in the training set. Lastly we study the effects of training a Cycle GAN to transfer labeled training samples to the unseen domain, and including this synthetic data in the training. The experiments are carried out on MRI data from three separate domains, where labeled training samples only exist for one of them. The studied methods are found to increase average DICE scores on the rectum and urinary bladder by 9-14% and 25-40% on the two unseen domains, and 95th percentile Hausdorff distances are decreased by 60-71% and 33-54%. Additionally, combining the use of unlabeled data from unseen domains with extensive image processing is found to further boost segmentation performance.}},
  author       = {{Helander, Rasmus}},
  issn         = {{1404-6342}},
  language     = {{eng}},
  note         = {{Student Paper}},
  series       = {{Master's Theses in Mathematical Sciences}},
  title        = {{Data Augmentation to Improve Cross-Domain Generalization in Deep Learning MRI Segmentation}},
  year         = {{2021}},
}