Augmentation for Generalization

Abstract

To be able to automatically segment cells in microscopic images would give biologist a new tool to
gather crucial data in quantities not possible by manual work. This is however not a trivial problem
and has proven to be very difficult, especially if the images are in 3D. One of the major challenges
is the ability for the methods to generalize beyond the data it has previously been presented with.
This thesis investigates how image augmentation can be used to mitigate this issue in the domain
of 3D microscopy. It does so by training two state of the art deep learning models, Plantseg and
Cellpose, with different augmentations and then test their ability to generealize on three data sets
which can be considered typical for the field. The results show that augmentations have a small but
positive effect on the models. If the un-augmented model is completely unable to segment the image,
augmentations will not improve the results. However, if the model is performing poorly, but is still
able to segment some cells, augmentation can greatly improve the results. No augmentation by itself
stood out as having a greater effect than others. Instead the combination of all the augmentations
gave the best results over all the experiments. Furthermore, the ability to generalize was strongly
correlated with the difference in shape and size of the different data sets. Further research into the
shape and size augmentations are hence encouraged. Implementation for the experiments can be
found on Github here or the full link in the foot note 1.

Popular Abstract (Swedish)

Hur får man datorer att se celler?

Svaret på den frågan hade skapat ett otroligt kraftfullt verktyg för forskare, och vi försöker därför i detta arbete, genom mindre modifieringar, att förbättra dagens metoder.

För att kunna se celler måste vi veta var de är någonstans, och jag menar inte på ett ungefär, utan om vi har en bild på en cell, exakt vilka pixlar tillhör cellen och vilka gör det inte? Detta typ av problem kallas instanssegmentering och har varit ett mål för forskare under en lång tid. Många försök har gjorts utan större framgång, men under de senaste åren har metoder som använder sig av maskininlärning visat sig vara mycket lovande. En maskininlärningsmodell kan ses som en maskin med många små rattar som kan ställas in på olika värden. Modellen får sedan in en bild på en cell, och spottar ut vilka pixlar som representerar cellen. Den får sedan feedback på hur bra denna gissning var, vilket den använder för att vrida på rattarna i ett försök att vara lite mindre fel nästa gång. I början är gissningarna helt fel, men med tiden så blir de bättre och bättre, och snart så har vi en maskin som kan instanssegmentera celler, eller det är i alla fall idén. I verkligenheten visar det sig att maskinen blir väldigt bra på att segmentera bilder som du redan har matats in i maskinen, men värdelös på sådant den inte har sätt förut. Vad maskinen saknar är förmågan att generalisera. I stället för att lära sig hur en cell faktiskt ser ut så memorerar den de bilder den sätt och redan vet svaret på. Detta mastersarbete riktar in sig på just detta problem, och vår lösning bygger på att göra det så svårt för modellen att memorera bilderna som möjligt. Om vi hade haft oändligt med bilder så hade memorering varit omöjlig, tyvärr är det inte fallet. Vad vi i stället gör är att modifiera de bilder vi skickar in, vilket för att modellen de facto aldrig se två exakt likadana bilder. Dessa modifieringar kallas argumenteringar och i detta arbete har vi fokuserat på tre typer. Först har vi geometriskaaugumenteringar. Här roteras och speglas bilderna på olika sätt för att på så sätt modifiera bilderna. Sedan har vi kontrastaugmenteringar som syftar till att ändra kontrasten i bilden. Tänk dig olika typer av Instagram filter. Sist har vi brusaugmenteringar där vi gör kvalitén sämre. Det ser ut ungefär som att bilden är tagen under dåliga ljusförhållanden. Vi applicerade sedan dessa augmenteringar ensamma och tillsammans på två olika typer av maskininlärningsmodeler, testade dem på tre olika typer av cellbilder, och jämförde dem till slut med vad resultaten hade varit om man inte gjort några augmenteringar. Experimenten visar att det har en liten men tydlig positiv effekt på modellernas förmåga att generalisera. För en modell med redan bra resultat så hade augmenteringarna nästan ingen effekt medan för mediokra modeller så var det ibland nödvändigt för att modellen överhuvudtaget skulle fungera. Augmenteringar har alltså påvisats vara ett positivt tillskott till denna typ av modeller och förbättrar deras generaliserings förmåga. Detta tar oss ett steg närmare fullt automatiserade segmenterings verktyg av hög kvalitet som kan användas för att analysera tiotusentals celler på samma tid som det idag tar forskare att titta på en enda. Någon som hade varit ett paradigmskifte där bara framtiden kan avgöra vad som är möjligt.

Joel Ottosson

• author: Ottosson, Joel
• supervisor: Mikael Nilsson
• organization: Mathematics (Faculty of Engineering)
• alternative title: Modifiera för att generalisera
• course: FMAM05 20212
• year: 2022
• type: H2 - Master's Degree (Two Years)
• subject: Mathematics and Statistics
• keywords: machine learning, microscopy, segmentation, augmentation, neural network
• publication/series: 2022:E10
• report number: LUTFMA-3464-2022
• ISSN: 1404-6342
• other publication id: 2022:E10
• language: English
• id: 9077490
• date added to LUP: 2022-05-02 16:36:07
• date last changed: 2022-05-10 09:22:00