Automatic 3D Segmentation in CT images of Congenital Heart Defects using Deep Learning

Abstract

3D segmentations of hearts with congenital heart defects are routinely used today.
They are used to study hearts and to prepare before surgery which makes them an
important part of patient care. The 3D segmentations are usually created manually,
which is a time-consuming process. By automating this process, less time can be spent creating these models, and more time can be spend on patient care.

The purpose of this project was to create a fully automatic method that created 3D
segmentation of CT images of hearts with congenital heart defect. The aim was to
create this method using deep learning, more specifically the U-net structure.

This was done by manually segment images, which were used as ground truth segmentations during network training. The classes used for training were the Blood Pool, Bone and Pericardium, which were segmented separately. The ground truth segmentations were done by the author of this thesis, and evaluated by others. The hyper parameters of the network were adjusted to fit this project and data augmentations was applied to the training data to extend the training data set. Training was done on 21 patients, and testing was done on seven. The class used for performance evaluation was the Blood Pool and the final output from the network was the Cardiac Model, which included segmentation of the Blood Pool and Pericardium.

The final network in this project segmented the Blood Pool, that scored an average
Dice score of 93,5% (±2,9) and a Jaccard Index of 88,0% (±5,0), when evaluated on
seven test images.

The results of this thesis shows that creating automatic 3D segmentations of congenital heart defects is possible with the use of deep learning. It also shows that even if the automatically created segmentations are imperfect, they can be used clinically to improve the patient care.

Popular Abstract (Swedish)

Automatiska 3D modeller av hjärtan med medfödda hjärtfel med hjälp av AI

Tänk om du kan titta på ett hjärta innan du ska operera på en patient. Detta är möjligt genom att skapa en 3D modell av hjärtat. Detta görs bara på några få patienter om året men tack vara det här arbetet så kan 3D modeller skapas för fler patienter och därmed öka patientsäkerheten.

På Skånes universitetssjukhus i Lund så finns det en avdelning för barnhjärtkirurgi. Här opereras barn med medfödda hjärtfel från hela landet, och från Island. Det finns nämligen bara två specialistavdelningar av den här typen i Sverige, och inga på Island. Operationerna som sker här är invecklade och riskfyllda men de är nödvändiga för att barnen ska överleva. De typer av hjärtfel som finns hos de här barnen är allvarliga och komplicerade. För att förstå sig på hjärtfelen så brukar kirurgerna noggrant studera röntgenbilderna som tagits av barnen. Dessa bilder är 2D och kirurgerna brukar förlita sig på sig egna fantasi för att föreställa sig hur hjärtana ser ut i 3D, dvs i verkligheten.

Tack vare tekniska utvecklingar de senaste åren så kan man nu producera modeller direkt i 3D. Vilket gör att kirurgerna kan studera 3D modeller av barnens hjärtan, istället för att behöva skapa sig bilden i huvudet. Detta görs genom att slå ihop röntgenbilder från flera olika riktningar och därefter skapa en 3D modell.

På sjukhuset i Lund finns det ett 3D centrum som arbetar med att skapa 3D modeller. Dessa 3D modeller skapas i mjukvara där man som användare kan interagera med modellen. Om man hellre vill hålla i 3D modellen kan man 3D printa den, något som också görs på 3D centrum.

De som arbetar på 3D centrum skapar modellerna genom att ladda in röntgenbilderna i den specialiserade mjukvaran och sedan markera områden som ska inkluderas i 3D modellen. Det krävs mycket expertis och tid för att skapa de här modellerna, vilket gör att man bara skapar 3D modeller av några barnhjärtan per år.

I syfte att effektivera skapandet av 3D modellerna, så har det här examensarbetet gjorts. En AI har använts för att automatiskt skapa 3D modellerna, vilket visade sig fungera bra. AI:n har tränats på bilder av barnhjärtan så att den lärt sig hur de ser ut. Nu kan man skicka in bilder på barnhjärtan till AI:n och den markerar själv områdena i bilden som ska inkluderas i modellen och spottar ut en färdig 3D modell. Den här processen tar 2 minuter, till skillnad från att manuellt skapa modellerna vilket kan ta 2 timmar.

Att applicera en AI på ett problem kan gå hur som helst men i det här projektet visade det sig väldigt lyckat. AI:n som skapades i det här projektet är i skrivande stund implementerad i mjukvaran som används på 3D centrum. Arbetarna på 3D centrum kommer troligtvis skicka in bilder på nästa patient i AI:n, och ut kommer en automatiskt 3D modell. Det kanske kommer behöva fixas några små saker på modellen eftersom AI:n inte är helt perfekt men det brukar inte ta så lång tid. Istället för att sitta flera timmar och skapa en 3D modell, kommer det nu bara ta några minuter. Eftersom tiden att skapa en 3D modell nu har förkortats, så kan 3D modeller skapas av fler barnhjärtan, och därmed förbättra säkerheten för fler patienter.

• author: Dahlström, Matilda
• supervisor: Einar Heiberg
• organization: Mathematics (Faculty of Engineering)
• course: FMAM05 20221
• year: 2022
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• publication/series: Master's Theses in Mathematical Sciences
• report number: LUTFMA-3474-2022
• ISSN: 1404-6342
• other publication id: 2022:E25
• language: English
• id: 9096049
• date added to LUP: 2022-08-18 13:56:38
• date last changed: 2022-08-18 13:56:38