On The Evaluation of District Heating Load Predictions

Abstract

District Heating is a technology with the potential to enable a fossil-free society. However, to realize this potential, some improvements need to be made in order to improve District Heating operation at large, decrease losses in the systems, and thus increase the competitiveness of District Heating as a technology. Several have shown that a possible solution, to increase the efficiency of District Heating, is to utilize data-based methods such as Machine Learning.

Questions have been raised regarding studies on Machine Learning implemented on District Heating data, stating that the research does not reflect the actual needs of District Heating utilities. Therefore, the aim of this report was to investigate how Machine Learning models, implemented to predict heat load, could be evaluated in a way that aligns with how they are used in District Heating operation. Heat load predictions have a number of use cases, for example as a way to plan and optimize heat production.

The report was divided into three different investigations. A survey study for District Heating utilities to give insight into how they currently use heat load prediction models as well as how they evaluate these models. Based on theory regarding District Heating, Machine Learning, and statistical error measures, it was investigated how heat load predictive models could be evaluated in a suitable way. The investigation resulted in the proposal of an evaluation framework. Lastly, the heat load prediction model Energy Predict, developed by Utilifeed, a software provider to District Heating utilities, was evaluated against this framework.

Some conclusions could be drawn from the studies. According to the results from the survey, heat load predictions are used in District Heating utilities for planning production and sales, dimensioning equipment/infrastructure/production, and as a step in fault detection. However, it seemed as if the accuracy of these models is generally not evaluated in District Heating utilities today. From the theory section, it was concluded that research on heat load predictions has been limited to short-term load forecasts, used for planning production, and as a step in detecting faults. As a result, two evaluation frameworks were proposed, evaluating the predictive performance of heat load prediction models used for dimensioning and sales planning. It was concluded that the two purposes, dimensioning and sales planning, require different kinds of accuracy and thus also different kinds of evaluation frameworks. For dimensioning, it was considered valuable to predict peaks in heat load, and for sales planning, it was considered valuable to predict accumulated sums of heat loads.

The insights gathered regarding evaluation metrics and periods were used when proposing the two evaluation frameworks. The frameworks utilized the error measures Coefficient of Variance of Root Mean Squared Error and Normalized Mean Bias Error, as well as different sectionings of the validation data, assessing the common flaws of heat load prediction models based on Machine Learning. The two evaluation frameworks were showcased by evaluating the predictive performance of four different load prediction models: Energy Predict, heat load signature, Supported Vector Regressor, and XGBoost. Energy Predict showed the best performance of all four models on both frameworks.

These frameworks, and the discussion provided with them, are developed for District Heating utilities and other users and developers of heat load prediction models. As different models are compared with each other, or when measures of accuracy need to be quantified, these frameworks may be found valuable.

Abstract (Swedish)

Fjärrvärme är en teknologi som har stor potential att bidra till att möjliggöra ett fossilfritt samhälle. För att uppnå denna potential, finns det dock en del förbättringar som måste göras för att förbättra fjärrvärmeverksamheten i stort, minska förlusterna från systemen och därmed öka konkurrenskraften hos fjärrvärme som teknologi. Ett flertal studier har visat att ett sätt att göra detta, och därmed öka fjärrvärmens effektivitet, är att använda sig av databaserade metoder som maskininlärning.

Det har ifrågasatts huruvida de studier där maskininlärning har implementerats på fjärrvärmedata avspeglar faktiska behov hos fjärrvärmeleverantörer. Därför var det denna rapports syfte att studera hur maskininlärningsmodeller, implementerade på fjärrvärmedata för att prediktera last, kan utvärderas på ett sätt som överensstämmer med hur de används i faktisk fjärrvärmeverksamhet. Lastprediktioner har en mängd olika användningsområden hos fjärrvärmeleverantörer, exempelvis kan de användas för att planera och optimera värmeproduktion.

Rapporten delades in i tre olika undersökningar. En enkätstudie för fjärrvärmeleverantörer genomfördes för att ge insikt i hur de använder lastprediktionsmodeller samt hur de utvärderar dessa modeller. Baserat på teori kring fjärrvärme, maskininlärning och statistiska avvikelsemått, undersöktes hur lastprediktionsmodeller ändamålsenligt kan valideras. Undersökningen resulterade i ett förslag på utvärderingsramverk. Slutligen utvärderades Energy Predict, en lastprediktionsmodell utvecklad av mjukvaruföretaget Utilifeed, mot detta utvärderingsramverk.

Ett antal slutsatser kunde dras från studierna. Enligt resultaten från enkäten används lastprediktioner hos fjärrvärmeleverantörer för planering av produktion och försäljning, dimensionering av utrustning/infrastruktur/produktion samt som ett steg i feldetektering. Det verkade dock som om noggrannheten hos dessa modeller generellt sett inte utvärderas hos fjärrvärmeleverantörer. Från teoridelen drogs slutsatsen att studier kring lastprediktioner har varit begränsad till lastprognoser med kort tidshorisont, som används i produktionsplanering, samt som ett sätt att detektera fel. Baserat på detta föreslogs två utvärderingsramverk: ett ramverk för att utvärdera lastprediktionsmodeller med syfte att dimensionera, och ett för modeller med syfte att planera försäljning. Det fastslogs att de två olika syftena, dimensionering och försäljningsplanering, kräver olika typer av pricksäkerhet och därför olika utvärderingsramverk. För dimensionering ansågs det vara värdefullt att kunna prediktera toppar i värmelast och för försäljningsplanering ansågs det vara värdefullt att kunna prediktera ackumulerade summor av värmelaster.

Insikterna som samlats in angående statistiska mått och utvärderingsperioder användes för att utveckla de två utvärderingsramverken. Ramverken använde måtten Coefficient of Variance of Root Mean Squared Error och Normalized Mean Bias Error, samt olika uppdelningar av valideringsdata för att bedöma vanliga brister hos maskininlärningsbaserade lastprediktionsmodeller. För att visa på hur de två utvärderingsramverken skulle genomföras utvärderades fyra olika lastprediktionsmodeller: Energy Predict, energisignatur, Supported Vector Regressor och XGBoost. Energy Predict uppvisade bäst pricksäkerhet av alla fyra modeller mot båda ramverken.

Dessa ramverk, och diskussionen som gavs med dem, är framtagna för fjärrvärmeleverantörer och andra utvecklare av lastprediktionsmodeller. Då olika modeller jämförs med varandra, eller då ett mått på pricksäkerheten behöver kvantifieras, kan dessa ramverk vara av värde.

Popular Abstract (Swedish)

Maskininlärning kan effektivisera vår fjärrvärme, men vi måste tänka till!

Fjärrvärme kan bidra i vår resa mot ett fossilfritt samhälle. Det finns däremot många effektivitetsåtgärder som återstår om fjärrvärme ska förbli ett konkurrenskraftigt alternativ. Värmeförluster i fjärrvärmenätet är ett sådant fenomen som generellt sänker effektiviteten och som behöver åtgärdas. Ett sätt att minska värmeförlusterna kan vara att på olika sätt förutspå värmebehovet i fjärrvärmenätet. Om fjärrvärmeleverantörer kan spå värmebehovet så behöver de bara producera den värmen som faktiskt går åt och inget behöver gå till spillo. Men hur gör man då för att förutspå detta värmebehov? Maskininlärning!

Fjärrvärme är en etablerad teknik i Sverige och står idag för cirka hälften av all uppvärmning. Och att det är praktiskt att kunna sia om framtiden i fjärrvärmenät - det är ingen ny företeelse. En fjärrvärmeleverantör har alltid behövt förutspå värmebehovet, t.ex. när den ska planera sin värmeproduktion eller bestämma storleken på mätare och ledningsrör – vanliga uppgifter i ett fjärrvärmenät. Problemet är att de gamla metoderna är väldigt enkla då de bara tar hänsyn till temperaturen utomhus. För att göra mer pricksäkra spådomar, eller prediktioner som det också kallas, behöver man ta hänsyn till andra faktorer också. Andra viktiga faktorer kan vara sol, vind och, kanske framför allt, mänskligt beteende.
Det är här maskininlärningen kommer in! Maskininlärning är ett namn på en datorbaserad process som kan lära sig samband mellan olika ting. En s.k. maskininlärningsmodell kan alltså ha koll på att det är mer värmebehov på morgonen eftersom många vill duscha, eller att värmebehovet är lägre på ett kontor under helgen. På så sätt kan pricksäkerheten i prediktionerna öka. Därav var det examensarbetets syfte att studera hur dessa prediktioner, baserade på maskininlärning, ska utvecklas för att kunna göra mer nytta i våra fjärrvärmenät.
En del av examensarbetet var att fråga fjärrvärmeleverantörer vad de tyckte om pricksäkerheten i deras prediktioner. Det visade sig däremot att många fjärrvärmeleverantörer inte mäter pricksäkerhet! På så sätt ser de inte potentialen i mer avancerade metoder – de har ju helt enkelt inget sätt för att se om metoderna är bättre. Detta utgör ett problem för de som programmerar fram maskininlärningsmodellerna, om ingen vet hur mycket bättre de är så vill heller ingen köpa dem.
Samtidigt finns det de som ifrågasätter hur programmerarna utvecklar sina maskininlärningsmodeller. Nya studier menar särskilt på att utvecklingen bara fokuserar på att förutse det värmebehovet på kort sikt (oftast ett dygn framåt) med mer och mer avancerade metoder. Detta trots att fjärrvärmeleverantörer även har nytta av prediktioner på lång sikt, t.ex. ett helt år framåt i tiden.
För att komma över dessa trösklar utvecklades det, i det här examensarbetet, ett ramverk med metoder som utvecklare kan använda sig av när de utvecklar sina maskininlärningsmodeller. Ramverket kan även användas av fjärrvärmeleverantörer för att jämföra de befintliga metoderna med de nya. På så sätt är förhoppningen att gapet mellan fjärrvärme och maskininlärning ska kunna överbryggas.

• author: Hansson, Herman
• supervisor: Sernhed Kerstin; Thern Marcus
• organization: Department of Energy Sciences
• course: MVKM01 20231
• year: 2023
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• report number: LUTMDN/TMHP-23/5524-SE
• ISSN: 0282-1990
• language: English
• id: 9119816
• date added to LUP: 2023-06-07 09:04:33
• date last changed: 2023-06-07 09:04:33