Using CNNs to Predict Rigid Body Transformation Parameters Which Register Fat Navigators to Apply Prospective Motion Correction on MRI Sequences at 7 T

Abstract

The framework for a fat navigator-based prospective motion correction (PMC) is already embedded on the 7 T scanner at Hvidovre hospital. This framework is dubbed iMOCO, and it tackles the motion artifact problem by registering fat navigators after each k-space readout train to some reference fat navigator taken at the start of the scan with rigid body transformation parameters. A grade of motion is determined by the magnitude of the registration. Based on the severity of the grade of motion, reacquisition of potentially motion corrupted lines in k-space can be performed or updates to the FOV can be made. This will reduce the risk for motion artifacts in the image for diagnosis. The registration method in iMOCO uses an iterative approach, which reaches acceptable solutions around 250 ms. Recently, deep learning (DL) has been used for several image registration tasks. The feasibility of replacing the current registration method in iMOCO with a DL network was investigated in this thesis.

The fundamental type of DL network used was convolution neural networks (CNN). The inputs into the network would be the image pair sent to the iMOCO program, which would be a reference fat navigator and a motion fat navigator. The output will be six values representing the rigid body transformations to register the two navigators. Two main design choices of CNNs were compared. These designs differed from how the input data was handled. One design extracted features of each image independently in different branches of a network. The other design choice had the image pair subtracted before inputted into a single branch in a network. The design choices were compared for interference speed and accuracy. The single branch design was trained once in a supervised manner and once in an unsupervised manner. The two-branch design was trained only in a supervised manner. The data set used for the supervised training was 18000 fat navigators from 100 subjects with synthetic motion fat navigators were created using rigid body transformations. The data set used for the unsupervised training was 2200 fat navigator pairs from 2 subjects. Embedding a DL network to the iMOCO program was done by network interface using a TCP communication between the host computer of the scanner and a computer with a GPU. This connection costs 15 ms for sending the necessary data for registration. The networks trained in a supervised manner were tested on data collected in vivo, and a comparison between the iMOCO registration and DL network registration was made by a simple difference between the two. The networks trained in an unsupervised manner were tested on the same data but compared with a normalized cross-correlation (NCC) metric before and after different registration methods.

With the initial data augmentations, the two-branch network and the one branch network reached a similar mean square error (MSE) on the validation data set after training. Using the one branch network at least halved the interference time to around 100 ms, then when using the two-branch network. After reducing the magnitude of transformations in the synthetic motion data, the difference between the registrations with DL and iMOCO decreased with the larger magnitudes of transformations. The unsupervised trained network did not outperform FreeSurfer’s rigid body registration tool on unseen data. The NCC median FreeSurfer reached was while the DL network reached (without any applied registration). This was confirmed visually as well.

This thesis shows the importance of data in training neural networks. More realistic transformations in the generation of synthetic motion showed to have halved differences between more robust registration methods. There are practical limitations with the generation of synthetic motion data as well. An unsupervised trained network that used in vivo motion data showed to be able to learn to perform registration. However, the relatively small data set size makes it difficult to push the model trained in this thesis into deployment. The data set issues mentioned must be addressed before a feasible DL registration network can replace the current registration method in iMOCO.

Popular Abstract (Swedish)

MRI är en icke-invasiv diagnostisk procedur som kan ge radiologer väsentlig strukturell eller funktionell information om organ. Ungefär som vid fotografering kan rörelse under förvärvet öka risken för dålig bildkvalitet. Medicinska bildbehandlingsmetoder är inte immuna mot detta problem. Bildtagningstiden varierar beroende på de fysikprinciper som utnyttjas för att ta bilden. MRI är känt för sina relativt långa avbildningstider, vilket kräver att patienter ligger stilla i skannern. Anledningen till detta är att MRI utnyttjar signalen som erhålls från protonerna av vattenmolekyler i patientens kropp via Faradays lag. Olika spatiala frekvenser appliceras på området av intresse. Därför kommer spatiala frekvenser som representerar den volym bäst kommer att producera mest signal. För att få denna signal måste protonerna exciteras till ett högre energitillstånd. Med tiden kommer dessa protoner att återgå till grundtillståndet. En annan faktor till de relativt långa insamlingstiderna är skapandet av de spatiala frekvenser som krävs för att erhålla en acceptabel bild.

Bilder tagna med MR-skanner som är av dålig diagnostisk kvalitet kan kräva att patienter kallas tillbaka till kliniken och undersöks på nytt. Enligt några nyare studier är denna risk för en omundersökning på grund av rörelse under bildinsamling minst 16 %. Denna fråga är framträdande vid pediatriska undersökningar. En vanlig lösning som används för detta problem är att använda lugnande medel eller anestesimedel. Men användningen av dessa typer av droger hos barn är ett omtvistat ämne på grund av dess potentiella negativa hälsoeffekter. Därför finns det en önskan att utveckla MRI-tekniker för att korrigera för rörelse under en skanning.

Ett allmänt sätt att korrigera för rörelse är genom att skaffa information om rörelsen under en undersökning och tillämpa någon sorts korrigering i realtid. Detta har vissa MRI-forskare visat i ett program som de kallade iMOCO. Tanken är att bestämma patientens position i skannern i realtid genom att få en snabb lågupplöst bild av fettet som omger skallen. Två bilder vid olika tidpunkter skjuts igenom en iterativ lösare som försöker få bilderna att helt överlappa med bildtransformationer. Beskrivningen av patienternas rörelser mellan dessa två tidpunkter definieras som dessa transformationer. Sedan används en rörelsepoäng för att bedöma om data som samlats in mellan dessa två tidpunkter är potentiellt värdelösa för god bildkvalitet och behöver krävas, eller så kan avbildningsparametrarna omdefinieras till den nya patientens position.

För att ett sådant system ska fungera i en MRI-pipeline måste det vara snabbt. Specifikt i storleksordningen 100-tals millisekunder. Ett exploderande forskningsfält är djupinlärning. Potentialen med att noggrant lära in mönster av problem för att tilldela vikter till neuroner som kan utföra en tidvis beräkning har visat sig vara möjlig med djupinlärning. Deep learning-forskare har skapat flera olika typer av nätverk som har kunnat överlappa medicinska bilder. En potentiell fördel för iMOCO-programmet skulle vara att ersätta den iterativa lösaren med ett nätverk för djupinlärning. Man tror att detta nätverk skulle kunna utföra bildregistreringen inom en fast tidsperiod, vilket är en fördel jämfört med den iterativa lösaren eftersom det tar en obestämd tid att nå en acceptabel lösning för ett specifikt bildpar. En annan potentiell fördel är att detta nätverk kan utföra en korrekt registrering på kortare tid.

Huvudsyftet med detta examensarbete var att utveckla ett sådant nätverk och implementera det på en mjukvara för MR- skannrar för att testa det in vivo. Båda målen uppnåddes framgångsrikt, men nätverkets noggrannhet vid registrering av bilder var dålig i jämförelse med iterativa lösare. Olika tillvägagångssätt för att träna ett nätverk undersöktes, och resultaten visade att indata spelade en stor roll för uppgifternas noggrannhet. Ej övervakade tillvägagångssätt för träning överträffade de övervakade träningsmetoderna, troligen på grund av utbildningen på verkliga data i den ej övervakade metoden. Den här avhandlingen visade att det krävs mer tänkande för att träna ett nätverk för att utveckla ett genomförbart nätverk som kan ersätta den iterativa lösaren i iMOCO-programmet.

• author: Olausson, Thomas
• supervisor: Linda Knutsson; Vincent O. Boer; Jan Ole Pedersen; Esben Thade Petersen; Mads Andersen
• organization: Medical Physics Programme
• course: MSFT01 20212
• year: 2022
• type: H2 - Master's Degree (Two Years)
• subject: Medicine and Health Sciences
• language: English
• id: 9150663
• date added to LUP: 2024-04-09 17:22:23
• date last changed: 2024-04-09 17:22:23