Semi-Supervised Medical Image Segmentation with Equivariance Regularization
(2020) In Master’s Theses in Mathematical Sciences FMAM05 20192Mathematics (Faculty of Engineering)
- Abstract
- The last decades of research in machine learning and deep learning have lead to enormous advancements in the field. One of the areas that stand to gain the most from this is the medical sector. However, the majority of deep learning models today rely on supervised learning and one considerable bottleneck in the sector's ability to adapt the technology is the need of large labeled datasets. Inspired by newly published semi-supervised methods for image classification, this work addresses the problem for the task of semantic segmentation (a task that is recurrent in medical imaging and cancer treatment) by introducing a semi-supervised method, named Equivariance Regularization (EquiReg). Using the EquiReg-method the model is trained to output... (More)
- The last decades of research in machine learning and deep learning have lead to enormous advancements in the field. One of the areas that stand to gain the most from this is the medical sector. However, the majority of deep learning models today rely on supervised learning and one considerable bottleneck in the sector's ability to adapt the technology is the need of large labeled datasets. Inspired by newly published semi-supervised methods for image classification, this work addresses the problem for the task of semantic segmentation (a task that is recurrent in medical imaging and cancer treatment) by introducing a semi-supervised method, named Equivariance Regularization (EquiReg). Using the EquiReg-method the model is trained to output equivariant predictions with respect to data augmentations using unlabeled data, in conjunction with standard supervised training using labeled data. Experiments with brain tumor MRI-scans from the BraTS 2019 dataset show that the EquiReg method can, when only a small percentage of data is labeled, boost performance by incorporating unlabeled data during training. Furthermore, the experiments show that the EquiReg-method also improves performance in the fully supervised case, by using the labeled data for both supervised and unsupervised training of the same model. (Less)
- Popular Abstract (Swedish)
- Utvecklingen av artificiell intelligens har tagit massiva kliv det senaste årtiondet och tekniken har stor potential att utveckla många områden i samhället. Ett av dessa områden är behandling av cancer i sjukvården. Detta examensarbete introducerar en ny metod för att träna AI-algoritmer att automatiskt dela upp och klassificera olika områden i en bild. Denna metod testas sedan för att markera ut tumörer i magnetröntgenbilder av hjärnor.
Att dela upp en bild i olika segment och kategorisera dessa kallas semantisk segmentering. För forskningen om att få datorer att "förstå" bilder är denna uppgift välkänd och återfinns inom många tekniska områden. Några av dessa är självkörande bilar, detektering i flygfoton och satellitbilder och... (More) - Utvecklingen av artificiell intelligens har tagit massiva kliv det senaste årtiondet och tekniken har stor potential att utveckla många områden i samhället. Ett av dessa områden är behandling av cancer i sjukvården. Detta examensarbete introducerar en ny metod för att träna AI-algoritmer att automatiskt dela upp och klassificera olika områden i en bild. Denna metod testas sedan för att markera ut tumörer i magnetröntgenbilder av hjärnor.
Att dela upp en bild i olika segment och kategorisera dessa kallas semantisk segmentering. För forskningen om att få datorer att "förstå" bilder är denna uppgift välkänd och återfinns inom många tekniska områden. Några av dessa är självkörande bilar, detektering i flygfoton och satellitbilder och analysering av medicinska bilder.
Att försöka lösa segmeteringsproblemet med AI och maskininlärning är något som det forskats mycket på de senaste åren och stora framsteg har gjorts. Precis som alla maskininlärningsalgoritmer behöver de algoritmer som tagits fram för segmentering "tränas" innan de kan användas. Träningen består i att, med hjälp av exempel, lära algoritmen hur en bra segmentering görs. Träningen är med andra ord en avgörande del i hur bra en algoritm kommer att fungera och det är på just träningen mitt arbete fokuserar.
Standardmetoden för att träna AI-algoritmer för segmentering är i nuläget att använda en stor mängd data där varje dataexempel består av en bild och en "sann" segmenteringmask av bilden. Denna typ av maskininlärning, där det för varje träningsexempel finns tillgång till ett facit, kallas för väglett lärande. Även om detta är ett väldigt effektivt sätt att träna algoritmer på finns det ett stort problem i att facit-datan måste konstrueras manuellt. Detta kräver i de flesta fall mycket tid och mänskligt arbete.
Datan i detta arbete kommer ifrån cancervården så låt oss ta det som exempel. En av de vanligaste behandlingsmetoderna för tumörer är strålbehandling och detta kräver en segmenterad röntgenbild av det cancerdrabbade området för att inte skada frisk vävnad under behandlingen. För att göra segmenteringen manuellt krävs flertalet arbetstimmar av en specialutbildad läkare, vilket gör det till en både dyr och tidskrävande process. En AI-algoritm som hjälper till att automatisera segmenteringen skulle naturligtvis underlätta, men i dagsläget kräver en sådan fortfarande ett stort antal segmenterade bilder för träning. Faktumet att medicinsk data ofta är känslig ur ett sekretessperspektiv kan även innebära att delning av segmenterade bilder mellan sjukhus och länder kan försvåras.
För att delvis råda bot på detta introducerar mitt arbete en träningsmetod för segmentering som använder sig av semi-väglätt lärande. Som namnet antyder innebär semi-väglätt lärande att medan man utnyttjar dataexempel med facit precis som i väglett lärande utnyttjar man också dataexempel utan något facit. I vårt fall betyder det att en segmenteringsalgoritm tränas med röntgenbilder både med och utan tillhörande segmenteringsmask. Experiment gjorda i arbetet visar att utnyttjandet av bilder utan segmenteringsmask i träningen ger ett prestandalyft för den tränade algoritmen. Vad som är än mer intressant är ytterligare experiment tyder på att detta även gäller då samma röntgenbilder används med och utan segmenteringsmask.
Sammanfattningsvis öppnar denna nya träningsmetod upp möjligheter för att träna AI-baserade segmenteringsalgoritmer med färre segmenterade bilder. Utöver det verkar den också kunna höja algoritmens prestanda genom att träna med och utan segmenteringsmask. Även om medicinska bilder var i fokus i det här arbetet kan metoden appliceras på segmenteringsalgoritmer var de än används. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/9008048
- author
- Schölin, Gustav LU
- supervisor
- organization
- course
- FMAM05 20192
- year
- 2020
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- Semi-Supervised Learning, Semantic Segmentation, Brain Tumor Segmentation, MRI, AI, Artificial Intelligence, BRATS 2019, Deep Learning, Computer Vision, Machine Learning, Peltarion AB
- publication/series
- Master’s Theses in Mathematical Sciences
- report number
- LUTFMA-3403-2020
- ISSN
- 1404-6342
- other publication id
- 2020:E18
- language
- English
- id
- 9008048
- date added to LUP
- 2020-06-03 15:37:23
- date last changed
- 2020-06-03 15:37:23
@misc{9008048,
abstract = {{The last decades of research in machine learning and deep learning have lead to enormous advancements in the field. One of the areas that stand to gain the most from this is the medical sector. However, the majority of deep learning models today rely on supervised learning and one considerable bottleneck in the sector's ability to adapt the technology is the need of large labeled datasets. Inspired by newly published semi-supervised methods for image classification, this work addresses the problem for the task of semantic segmentation (a task that is recurrent in medical imaging and cancer treatment) by introducing a semi-supervised method, named Equivariance Regularization (EquiReg). Using the EquiReg-method the model is trained to output equivariant predictions with respect to data augmentations using unlabeled data, in conjunction with standard supervised training using labeled data. Experiments with brain tumor MRI-scans from the BraTS 2019 dataset show that the EquiReg method can, when only a small percentage of data is labeled, boost performance by incorporating unlabeled data during training. Furthermore, the experiments show that the EquiReg-method also improves performance in the fully supervised case, by using the labeled data for both supervised and unsupervised training of the same model.}},
author = {{Schölin, Gustav}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{Master’s Theses in Mathematical Sciences}},
title = {{Semi-Supervised Medical Image Segmentation with Equivariance Regularization}},
year = {{2020}},
}