Utvärdering av ankomstprognoser för tåg

Abstract

In this master thesis, an evaluation of arrival forecasts for trains is made to see how various prediction sources compare to each other and how well these reflect reality. Furthermore, this thesis is a sprint of a research project that is carried out and conducted at Lund University of Technology on behalf of the Swedish Transport Administration. Unlike the research project, this thesis is based solely on a first preliminary data dump and not on data from a specific time period regarding a certain test track.
The purpose of the thesis is to examine and evaluate arrival forecasts for trains. This is done by analyzing the ability of the underlying prediction sources to create reliable arrival forecasts. The main focus is to increase knowledge of both the strengths and weaknesses of the prediction sources, as well as to see if there are situations where one or the other seems particularly suitable.
Currently, there are different ways to create arrival forecasts for trains. The most trivial is through manual calculations, but it can also be done based on automatic calculations. The automatic calculations use digital graphs and in recent years it has become increasingly common for these to be based on AI solutions, such as AIRT.
The data that has been used for analysis in this master thesis is provided by the Swedish Transport Administration and is the same that they use when creating arrival forecasts. The data consists of nationwide data points regarding arrivals and departures during the time period 2022-10-01 – 2022-11-15. The analyzed data set consists of 5,530,048 lines of code and, with the help of SQL-Server Management Studio, has been used to structure and sort.
In the master thesis, a test was made to see which of the evaluation methods Mean value, MAE and RMSE should be used when evaluating the arrival forecasts. The result shows that MAE is the best suited and has thus continued to be used in the analysis of subsequent problems.
The Swedish Transport Administration currently uses five different prediction sources when calculating arrival forecasts for trains: Amber, Tågprognos, Manual, STEG and AIRT. When analyzing which prediction source provides the most reliable arrival predictions, it emerged that AIRT provides significantly better predictions than any of the other four. The recommendation is therefore to drop the prediction sources Amber, Tågprognos, Manual and STEG and use AIRT exclusively. This is because, on average, this prediction source creates about 2.3 times better predictions than the second-best prediction source, STEG.
To answer the last problem and to follow up and see if the ranking of how well the different prediction sources performed was constant or random, a test was performed. The test was to see how the various prediction sources performed when the traffic situation on the track in the previous hour had been good, normal and bad. The results of the test showed that the ranking remained constant, with AIRT emerging as the best alternative.

Abstract (Swedish)

I detta examensarbete görs en utvärdering av ankomstprognoser för tåg för att se hur de olika
prediktionskällorna står sig mot varandra och hur pass väl dessa efterspeglar verkligheten.
Vidare är detta examensarbete en sprint av ett forskningsprojekt som genomförs och bedrivs på
Lunds Tekniska Högskola på uppdrag av Trafikverket. Till skillnad från forskningsprojektet
bygger detta examensarbete enbart på en första preliminär datadump och inte på data från en
specifik tidsperiod avseende en viss testbana.
Syftet med examensarbetet är att undersöka och utvärdera ankomstprogoner för tåg. Detta görs
genom att analysera de bakomliggande prediktionskällornas förmåga att skapa tillförlitliga
ankomstprognoser. Det huvudsakliga fokuset är att öka kunskapen om såväl styrkor som
svagheter hos prediktionskällorna, samt att se om det finns situationer där den ena eller andra
ter sig särskilt lämplig.
I dagsläget finns det olika sätt att skapa ankomstprognoser för tåg. Det mest triviala är genom
manuella beräkningar, men det kan även göras baserat på automatiska beräkningar. De
automatiska beräkningarna använder sig av digitala grafer och under de senaste åren har det
blivit alltmer vanligt förekommande att dessa baseras på AI-lösningar, som exempelvis AIRT.
Datan som i examensarbetet har använts för analys är tillhandahållen av Trafikverket och är
densamma som de använder sig av vid skapande av ankomstprognoser. Datan består av
rikstäckande datapunkter gällande ankomster och avgångar under tidsperioden 2022-10-01 –
2022-11-15. Den analyserade datamängden består av 5 530 048 rader kod och har med hjälp av
SQL-Server Management Studio använts för att strukturera och sortera.
I examensarbetet görs först en granskning över vilken av utvärderingsmetoderna Medelvärde,
MAE och RMSE som bör användas vid utvärdering av ankomstprognoserna. Resultatet visar
på att MAE är det bäst lämpade och har således fortsatt använts vid analys av efterföljande
problemställningar.
Trafikverket använder sig i dagsläget av fem olika prediktionskällor vid beräkning av
ankomstprognoser för tåg: Amber, Tågprognos, Manuell, STEG och AIRT. Vid analys av
vilken prediktionskälla som ger mest tillförlitliga ankomstprediktioner framkom att AIRT utgör
markant bättre prediktioner än någon av de andra fyra. Rekommendationen är därför att
framöver slopa prediktionskällorna Amber, Tågprognos, Manuell och STEG och uteslutande
använda sig av AIRT. Detta eftersom denna prediktionskälla i medeltal skapar ca 2,3 gånger
bättre prediktioner än den näst bästa prediktionskällan, STEG.
För att besvara den sista problemställningen samt för att följa upp och se ifall rangordningen på
hur väl de olika prediktionskällorna presterade var konstant eller slumpmässig utfördes ett test.
Testet gick ut på att se hur de olika prediktionskällorna presterade då trafikläget på banan
förgående timme varit bra, normalt och dåligt. Resultatet av testet visade att rangordningen stod
sig konstant, där AIRT framstår som det bästa alternativet.

• author: Rydstedt, Linus
• supervisor: Lena Winslott Hiselius
• organization: Transport and Roads
• alternative title: Evaluation of train arrival forecasts
• course: VTVM01 20231
• year: 2023
• type: H3 - Professional qualifications (4 Years - )
• subject: Technology and Engineering
• keywords: Train delay, traffic management, evaluation, arrival forecast, prediction
• publication/series: CODEN: LUTVDG/(TVTT-5353)/1-53/2023.
• report number: 386
• ISSN: 1653-1922
• language: Swedish
• id: 9133136
• date added to LUP: 2023-08-10 08:50:58
• date last changed: 2023-08-10 08:50:58