Learning Based Road Estimation

Abstract

The interest in autonomous driving has vastly increased, leading to a surge in research and development efforts over the past decades. This technology could enhance road safety, alleviate traffic congestion, and yield numerous environmental and economic benefits. A fundamental prerequisite to developing and integrating autonomous driving is to obtain information about the surrounding environment, particularly in terms of detecting lane geometry. Precise lane detection can be achieved in a number of ways, including with the use of deep learning. This thesis investigates deep learning-based lane detection by developing models that predict the center of the ego lane. The problem is treated as a regression problem and is approached by developing, testing, and comparing several model architectures by using mean squared error as metric. Lane marker detection coordinates were used to generate bird's eye views (BEV) used as input to the different models. Four main models were developed. Model 1 was a convolutional neural network (CNN) and Model 2 was the CNN with a one-dimensional input fused to the feature map of the CNN. Model 3 incorporated a long short-term memory (LSTM) after Model 2 to make use of the temporal information in the data. Furthermore, Model 4 was created which had the same architecture as Model 3 but with another loss function. The experimental results demonstrated a consistent decrease in loss with the introduction of each subsequent model. The conclusions could be drawn that the selection of a metric used to train and evaluate networks was essential in the process of developing a relevant model. From the experience gathered during the thesis, a learning-based approach seemed to hold a lot of potential for estimating road geometry.

Popular Abstract (Swedish)

Varje år dör 1,3 miljoner människor i bilolyckor. Självkörande bilar tros kunna bidra till att antalet trafikolyckor minskar samt blir mindre allvarliga då en bil genererar konstant vaksamhet samt en bättre reaktionstid i förhållande till människor. Även trafik ska kunna påverkas till det bättre då mänskliga misstag som exempelvis plötsligt bromsande eller felaktiga filbyten kan leda till köbildningar på motorvägar. Vidare kan självkörande bilar vara till stor fördel för människor som inte kan eller vill köra bil. Detta samlat tros kunna främja miljön, ekonomin, men även människors välmående och effektivitet.

I samband med att stora framsteg gjorts inom datorseende, bildanalys och maskininlärning, men även inom hårdvaruutveckling som exempelvis utvecklingen av olika slags högprecisionssensorer, har ett allt större intresse för autonom körning vuxit fram inom bilindustrin. Idag satsar flera av fordonindustrins giganter för att göra självkörning till verklighet.

En central del inom självkörning är att kunna erhålla information om den omgivande miljön. Mer specifikt ligger fokus på att med hög noggrannhet kunna detektera vägen och området framför bilen, vilket möjliggör att bilen på ett säkert sätt ska kunna planera sitt körande. Det finns olika tillvägagångssätt när det kommer till vägdetektion, men en metod som visat allt mer lovande resultat är deep learning. Deep learning innefattar att träna ett artificiellt neuronnät med en bestämd loss funktion för att den ska ska lära sig att se komplexa mönster och därmed dra slutsatser från data. Tanken med artificiella neuronnät är att försöka efterlika biologiska neuronnät som återfinns i exempelvis hjärnan.

De finns flera fördelar med artificiella neuronnät. De är bland annat bra på att hantera både bilddata, med hjälp av Convolutional Neural Networks (CNN:s), och sekvensiell data, med Recurrent Neural Networks (RNN:s). Det finns även ett flertal träningsalgoritmer för att närtverken ska prestera så bra som möjligt. Vidare kan neurala nätverk vara fördelaktiga när sambanden i data är för komplexa för att modellera på annat vis.

I detta arbete investerades olika slags artificiella neuronnät för att hitta mitten av vägfilen som bilen körde i. De artificiella neuronnät som implementerades tog hänsyn till både den direkta indatan, med hjälp av ett CNN, men även ordningen i vilken datan matades in, med hjälp av ett slags RNN. Resultaten visade att artificiella neuronnät har stor potential för att implementeras i självkörande fordon. Därtill, sattes extra betoning på att loss funkitonen som används under träning, samt metrikerna som nätverken evalueras med är väsentliga för att utveckla ett artificiellt neuronnät som presterar bra när den tillämpas i verkligheten.

• author: Amirijoo, Sanna and Niwong, Karl
• supervisor: Karl Åström
• organization: Mathematics (Faculty of Engineering)
• course: FMAM05 20231
• year: 2023
• type: H2 - Master's Degree (Two Years)
• subject: Mathematics and Statistics
• publication/series: Master's Theses in Mathematical Sciences
• report number: LUTFMA-3513-2023
• ISSN: 1404-6342
• other publication id: 2023:E44
• language: English
• id: 9124686
• date added to LUP: 2023-08-31 11:30:06
• date last changed: 2023-08-31 11:30:06