Inferring lane-level topology of signalised intersections from aerial imagery and OpenStreetMap using deep learning

Abstract

Access to detailed network data is often constrained by access-controlled datasets or by extensive manual labour. This study addresses the challenge by proposing a novel approach to extract lane-level road topology graphs at signalised intersections. The aim is to predict intersection topologies directly from aerial imagery and a simplified OpenStreetMap road-level graph using neural networks, bridging the gap in methodologies focused on image segmentation or direct graph extraction. The model pipeline includes a lane object detector on oriented imagery, incorporating rotation angles from OpenStreetMap, a lane detector, and a turn detector. A post-processing heuristic is applied to filter for inconsistent turns. The approach successfully predicts key topology aspects, although does not outperform a simple rule-based model for most intersection types. The achieved F1 scores based on the filtered turns for each intersection arm are 0.89 for the detection of number of approach lanes, 0.79 for number of turns by turn type, and 0.47 for the number of lane types. Specific measures to improve prediction performance are identified. This research provides valuable insights for advancing road network analysis methodologies, offering a new perspective on the extraction of detailed intersection topologies from aerial imagery and OpenStreetMap data.

Popular Abstract

Artificial intelligence is trained to recognise detailed road networks using aerial photography and OpenStreetMap data. The model is successful at predicting lanes, their direction, but not always how they connect at intersections.

The challenge of making accurate maps
Having access to detailed and accurate digital maps of transport networks are vital for areas such as navigation, autonomous driving, and urban planning. However, mapping data can be expensive to produce or rely on difficult-to-access data, such as GPS-traces from vehicles or smartphones. This study use of neural networks, a type of artificial intelligence, to extract road networks using aerial photography and publicly available OpenStreetMap data.

How can artificial intelligence help?
Techniques already exists to extract road networks directly from satellite and aerial photography. One such technique is segmentation, where a neural network classifies whether each pixel is a road or not. Then, algorithms convert the classified pixels into coherent road networks. Some researchers have trained neural networks that directly predicts the road network, bypassing the segmentation step. Recent developments have also explored using similar techniques to extract road networks at higher level of detail, by extracting lanes and how they connect at intersections. The last step, how lanes from different intersection arms connect, is particularly challenging to infer. This is even more challenging at signalised intersections, where the lane-to-lane connection patterns can be quite complex. One solution is to train neural networks that classifies how likely any given lane pair is to be connected.

How can current techniques be improved?
This study proposes a new way to predict lanes and how they connect at signalised intersections. Instead of using pixel-wise segmentation, a neural network is trained to recognise common objects on intersection arms, such as road markings and vehicles. The image for each arm is rotated so that the neural network can more easily separate objects by direction, for example cars entering or leaving the intersection. The rotation angles are sourced from processed OpenStreetMap data. The predicted objects are fed into a second neural network that predicts presence of lanes and their direction. Finally, using the predicted lanes, all lane connections at an intersection is predicted simultaneously. This contrasts to other techniques, where each lane-to-lane connection is determined individually.

How well does it work?
The combined neural network model is accurate when predicting lanes and their direction. It is also able to predict the number of left, though, and right movements for intersection arms. However, the model struggles to replicate exact lane configurations and overall accuracy is not sufficient for most applications.

Popular Abstract (Swedish)

Artificiell intelligens används för att känna igen detaljerade vägnätverk med hjälp av flygfotografi och data från OpenStreetMap. Modellen kan känna replikera körfiler och deras riktning, men inte alltid hur dessa ansluter vid korsningar.

Utmaningen med att skapa detaljerade kartor
Att ha tillgång till detaljerade och korrekta digitala kartor över transportnätverk är avgörande för områden som navigering, självkörande fordon och stadsplanering. Kartdata kan dock vara kostsamt att producera eller förlitar sig på svårtillgängliga data, som GPS-spår från fordon eller mobiltelefoner. Denna studie använder neurala nätverk, en typ av artificiell intelligens, för att generera vägnätverk från flygfotografi och allmänt tillgänglig OpenStreetMap-data.

Hur kan artificiell intelligens hjälpa till?
Tekniker finns redan för att känna igen vägnätverk direkt från satellit- och flygfotografi. En sådan teknik är segmentering, där ett neuralt nätverk klassificerar om varje pixel är en väg eller inte. Sedan omvandlar algoritmer de klassificerade pixlarna till sammanhängande vägnätverk. Vissa forskare har tränat neurala nätverk som direkt kan känna igen vägnätverket, och därmed kringgår segmenteringssteget. Nyligen har man också utforskat användningen av liknande tekniker för att generera vägnätverk med högre detaljnivå genom att generera enskilda körfiler och hur de ansluter varandra vid korsningar. Det sista steget, det vill säga hur körfilerna ansluter, är särskilt utmanande. Detta är ännu svårare vid trafikljuskorsningar, där anslutningarna mellan körfiler kan vara ganska komplexa. En lösning är att träna neurala nätverk som klassificerar hur sannolikt det är att ett körfilspar är anslutna.

Hur kan nuvarande tekniker förbättras?
Denna studie föreslår ett nytt sätt att förutsäga körfiler och hur de ansluter vid trafikljuskorsningar. I stället för att använda pixelvis segmentering tränas ett neuralt nätverk att känna igen vanliga objekt på korsningsarmar, som vägmarkeringar och fordon. Foto för varje arm roteras så att det neurala nätverket lättare kan separera objekt efter riktning, till exempel bilar som kommer körandes in eller från korsningen. Rotationsvinklarna hämtas från bearbetad OpenStreetMap-data. De förutspådda objekten matas in i ett sekundärt neuralt nätverk som förutsäger förekomsten av körfiler och deras riktning. Slutligen förutsägs alla körfilsanslutningar vid en korsning parallellt med hjälp av de förutsagda körfilerna. Detta skiljer sig från andra tekniker, där varje fil-till-fil-anslutning bestäms individuellt.

Hur väl fungerar det?
Den kombinerade neurala nätverksmodellen kan replikera körfiler och deras riktning. Den kan också känna igenom antalet filer man kan svänga höger, vänster, eller rakt fram. Däremot har modellen svårt att förutspå hur alla filer är sammankopplade in en korsning, och den övergripande korrektheten är inte tillräcklig för de flesta tillämpningar.

• author: Nilsson, Hugo
• supervisor: Rachid Oucheikh
• organization: Dept of Physical Geography and Ecosystem Science
• course: GISM01 20241
• year: 2024
• type: H2 - Master's Degree (Two Years)
• subject: Earth and Environmental Sciences
• keywords: Deep Learning, Road topology, Computer Vision, Graph Extraction, Object Detection, Aerial Imagery, Remote Sensing
• publication/series: Master Thesis in Geographical Information Science
• report number: 174
• language: English
• id: 9150873
• date added to LUP: 2024-04-16 13:42:43
• date last changed: 2024-04-16 13:42:43