Sammanställning och utvärdering av modeller för pandemiprediktion i Sverige under 2020
Jöud, Anna LU
; Gerlee, Philip
; Spreco, Armin
and Timpka, Toomas
(2021)
- Abstract (Swedish)
- Mindre än två månader – så kort kan tiden enligt uppskattningar vara från upptäckten av ett virus med pandemisk potential till dess att virusets spridning över världen når exponentiell takt. Nationella regeringar och myndigheter har därför kort tid på sig för att i samråd med internationella organ planera och införa åtgärder för att hindra eller begränsa smittspridningen inom respektive land.
I det tidiga skedet av en viruspandemi är kunskapen om virusets natur och spridningsvägar låg. Detta ställer prediktion av pandemins utveckling inför metodologiska utmaningar. Under år 2020 har prediktionsmodeller legat till grund för nationellt beslutsfattande och vårdplanering inom sjukvårdsregioner i Sverige. Det är viktigt att klarlägga... (More) - Mindre än två månader – så kort kan tiden enligt uppskattningar vara från upptäckten av ett virus med pandemisk potential till dess att virusets spridning över världen når exponentiell takt. Nationella regeringar och myndigheter har därför kort tid på sig för att i samråd med internationella organ planera och införa åtgärder för att hindra eller begränsa smittspridningen inom respektive land.
I det tidiga skedet av en viruspandemi är kunskapen om virusets natur och spridningsvägar låg. Detta ställer prediktion av pandemins utveckling inför metodologiska utmaningar. Under år 2020 har prediktionsmodeller legat till grund för nationellt beslutsfattande och vårdplanering inom sjukvårdsregioner i Sverige. Det är viktigt att klarlägga tillförlitligheten och precisionen i dessa modeller relaterat till den faktiska utvecklingen av covid-19 i landet. Målsättningen med den här studien var att:
1. Beskriva modeller för prediktion av spridning av covid-19 och relaterad sjukvårdsbelastning i Sverige publicerade mellan 2020-01-01 och 2020-12-31 (prediktioner, scenarion, prognoser etc.), samt
2. Utvärdera modellerna ur kvalitetssynpunkt och jämföra modellerat/predicerat utfall med det observerade utfallet under den aktuella tidsperioden.
Studien genomfördes som en systematisk litteraturgenomgång och resultatsyntes (sammanställning). För ändamålet utfördes sökningar efter vetenskapliga publikationer (vetenskapligt granskade innan publicering), preprints (artiklar av vetenskaplig karaktär som publiceras öppet utan föregående granskning) samt den grå litteraturen (rapporter och underlag publicerade av organisationer och myndigheter). Studieprotokollet är registrerat i databasen för strukturerade litteratursynteser och metaanalyser PROSPERO (International prospective register of systematic reviews) dnr CRD42021229514 (tillgänglig: https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42021229514).
I litteratursökningen identifierades initialt 1478 artiklar; 892 genom systematisk sökning efter kollegialt granskade vetenskapliga artiklar, 566 genom explorativ sökning i preprint-arkiv, samt 20 rapporter via uppslagssökning i den grå litteraturen. Efter granskning av sammanfattningar och därefter hela titlar med avseende på urvalskriterierna kvarstod totalt 33. Elva av dessa uteslöts på grund av risk för påverkan från felkällor. Av de 22 titlar som ingick i den avslutande resultatsyntesen var omkring hälften vetenskapliga publikationer och de övriga var myndighetsrapporter.
Den detaljerade analysen visade att prediktionernas faktiska precision och tillförlitlighet sällan rapporterades tillsammans med modellerna. Endast ett fåtal artiklar beskrev någon form av validering och bara två modeller hade utvärderats framåtblickande (prospektivt). När vi gjorde en sekundär utvärdering mot faktiska data fann vi att bara två modeller av beläggning på intensivvårdsavdelningar och fyra modeller av antalet dödsfall överensstämde tillfredsställande med det faktiska utfallet. Att jämföra modeller och dra slutsatser var dock svårt då somliga prediktioner publicerades avsevärt före den tidsperiod som de gällde, medan andra publicerades i anknytning till perioden eller i efterhand.
Avsaknaden av metodologiskt väl utförda utvärderingar begränsar möjligheterna att samla erfarenheter om värdet av att vid framtida pandemier använda prediktionsmodellering. Förutom brister gällande validering och utvärdering noterade vi att dokumentationen av modellerna, och redovisningen av de antaganden som gjorts, generellt var otillräcklig.
Trots dessa brister måste prediktionsmodellerna anses ha bidragit positivt till förståelsen av pandemins utveckling i Sverige under 2020 och möjligheterna att genomföra interventioner. Exempelvis visade modellerna att smittspridningen kunde förväntas skilja sig avsevärt åt mellan de svenska sjukvårdsregionerna. Scenariomodellerna visade även hur förändringar i sociala kontaktmönster har samband med smittspridning givet olika fasta antaganden. Bidraget skulle ha varit ännu mer värdefullt om rapporteringen av modellerna hade varit tydligare med om de ansågs vara prediktioner, eller om de skulle betraktas som en del av större scenarion med alternativa utvecklingar givet olika antaganden.
Vi drar slutsatserna att forskare, myndigheter och andra organ som publicerar pandemimodeller måste vara tydliga i sin kommunikation med avseende på avsedda mottagare (andra forskare, myndigheter, allmänheten, etc.), avsikten med modellen (scenario eller prediktion), data och antaganden som använts, samt hur tillförlitligheten i utfallet ska tolkas. I synnerhet behöver rapporteringen av pandemimodeller vara tydlig med avseende på om modellerna ska betraktas som prediktioner av en trolig utveckling, eller som scenarier som beskriver hypotetiska förlopp givet olika antaganden.
Vid framtida pandemier behöver kunskap om prediktioners tillförlitlighet grundläggas redan tidigt under spridningsförloppet. Utvärderingsprotokoll bör skapas och registreras i internationella databaser för forskningsprotokoll före initiering av datainsamlingen. Rutiner för samarbete mellan nationella myndigheter, sjukvårdsregioner och akademiska institutioner behöver etableras för att sammanföra modelleringskompetens och data.
Fortsatt utvecklingsarbete och forskning behövs om utvärderingsmetoder för pandemimodeller. Förutom att prediktioner måste vara tillförlitliga och begripliga, ska scenariomodeller generera realistiska scenarier. Därför behöver metoder för utvärdering av scenariomodellers interna logik, rimlighet och pluralism utvecklas. (Less)
Please use this url to cite or link to this publication:
https://lup.lub.lu.se/record/74d4080e-35a8-4fbb-b740-82c6442d3770
- author
- Jöud, Anna
LU
; Gerlee, Philip
; Spreco, Armin
and Timpka, Toomas
- organization
- publishing date
- 2021
- type
- Book/Report
- publication status
- published
- subject
- pages
- 46 pages
- publisher
- Lund University
- language
- Swedish
- LU publication?
- yes
- id
- 74d4080e-35a8-4fbb-b740-82c6442d3770
- alternative location
- http://liu.diva-portal.org/smash/record.jsf?pid=diva2%3A1557080&dswid=2970
- date added to LUP
- 2021-06-03 09:58:08
- date last changed
- 2021-06-03 10:04:53
@techreport{74d4080e-35a8-4fbb-b740-82c6442d3770,
abstract = {{Mindre än två månader – så kort kan tiden enligt uppskattningar vara från upptäckten av ett virus med pandemisk potential till dess att virusets spridning över världen når exponentiell takt. Nationella regeringar och myndigheter har därför kort tid på sig för att i samråd med internationella organ planera och införa åtgärder för att hindra eller begränsa smittspridningen inom respektive land.<br/><br/>I det tidiga skedet av en viruspandemi är kunskapen om virusets natur och spridningsvägar låg. Detta ställer prediktion av pandemins utveckling inför metodologiska utmaningar. Under år 2020 har prediktionsmodeller legat till grund för nationellt beslutsfattande och vårdplanering inom sjukvårdsregioner i Sverige. Det är viktigt att klarlägga tillförlitligheten och precisionen i dessa modeller relaterat till den faktiska utvecklingen av covid-19 i landet. Målsättningen med den här studien var att:<br/><br/> 1. Beskriva modeller för prediktion av spridning av covid-19 och relaterad sjukvårdsbelastning i Sverige publicerade mellan 2020-01-01 och 2020-12-31 (prediktioner, scenarion, prognoser etc.), samt<br/> 2. Utvärdera modellerna ur kvalitetssynpunkt och jämföra modellerat/predicerat utfall med det observerade utfallet under den aktuella tidsperioden.<br/><br/>Studien genomfördes som en systematisk litteraturgenomgång och resultatsyntes (sammanställning). För ändamålet utfördes sökningar efter vetenskapliga publikationer (vetenskapligt granskade innan publicering), preprints (artiklar av vetenskaplig karaktär som publiceras öppet utan föregående granskning) samt den grå litteraturen (rapporter och underlag publicerade av organisationer och myndigheter). Studieprotokollet är registrerat i databasen för strukturerade litteratursynteser och metaanalyser PROSPERO (International prospective register of systematic reviews) dnr CRD42021229514 (tillgänglig: https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42021229514).<br/><br/>I litteratursökningen identifierades initialt 1478 artiklar; 892 genom systematisk sökning efter kollegialt granskade vetenskapliga artiklar, 566 genom explorativ sökning i preprint-arkiv, samt 20 rapporter via uppslagssökning i den grå litteraturen. Efter granskning av sammanfattningar och därefter hela titlar med avseende på urvalskriterierna kvarstod totalt 33. Elva av dessa uteslöts på grund av risk för påverkan från felkällor. Av de 22 titlar som ingick i den avslutande resultatsyntesen var omkring hälften vetenskapliga publikationer och de övriga var myndighetsrapporter.<br/><br/>Den detaljerade analysen visade att prediktionernas faktiska precision och tillförlitlighet sällan rapporterades tillsammans med modellerna. Endast ett fåtal artiklar beskrev någon form av validering och bara två modeller hade utvärderats framåtblickande (prospektivt). När vi gjorde en sekundär utvärdering mot faktiska data fann vi att bara två modeller av beläggning på intensivvårdsavdelningar och fyra modeller av antalet dödsfall överensstämde tillfredsställande med det faktiska utfallet. Att jämföra modeller och dra slutsatser var dock svårt då somliga prediktioner publicerades avsevärt före den tidsperiod som de gällde, medan andra publicerades i anknytning till perioden eller i efterhand.<br/><br/>Avsaknaden av metodologiskt väl utförda utvärderingar begränsar möjligheterna att samla erfarenheter om värdet av att vid framtida pandemier använda prediktionsmodellering. Förutom brister gällande validering och utvärdering noterade vi att dokumentationen av modellerna, och redovisningen av de antaganden som gjorts, generellt var otillräcklig.<br/><br/>Trots dessa brister måste prediktionsmodellerna anses ha bidragit positivt till förståelsen av pandemins utveckling i Sverige under 2020 och möjligheterna att genomföra interventioner. Exempelvis visade modellerna att smittspridningen kunde förväntas skilja sig avsevärt åt mellan de svenska sjukvårdsregionerna. Scenariomodellerna visade även hur förändringar i sociala kontaktmönster har samband med smittspridning givet olika fasta antaganden. Bidraget skulle ha varit ännu mer värdefullt om rapporteringen av modellerna hade varit tydligare med om de ansågs vara prediktioner, eller om de skulle betraktas som en del av större scenarion med alternativa utvecklingar givet olika antaganden.<br/><br/>Vi drar slutsatserna att forskare, myndigheter och andra organ som publicerar pandemimodeller måste vara tydliga i sin kommunikation med avseende på avsedda mottagare (andra forskare, myndigheter, allmänheten, etc.), avsikten med modellen (scenario eller prediktion), data och antaganden som använts, samt hur tillförlitligheten i utfallet ska tolkas. I synnerhet behöver rapporteringen av pandemimodeller vara tydlig med avseende på om modellerna ska betraktas som prediktioner av en trolig utveckling, eller som scenarier som beskriver hypotetiska förlopp givet olika antaganden.<br/><br/>Vid framtida pandemier behöver kunskap om prediktioners tillförlitlighet grundläggas redan tidigt under spridningsförloppet. Utvärderingsprotokoll bör skapas och registreras i internationella databaser för forskningsprotokoll före initiering av datainsamlingen. Rutiner för samarbete mellan nationella myndigheter, sjukvårdsregioner och akademiska institutioner behöver etableras för att sammanföra modelleringskompetens och data.<br/><br/>Fortsatt utvecklingsarbete och forskning behövs om utvärderingsmetoder för pandemimodeller. Förutom att prediktioner måste vara tillförlitliga och begripliga, ska scenariomodeller generera realistiska scenarier. Därför behöver metoder för utvärdering av scenariomodellers interna logik, rimlighet och pluralism utvecklas.}},
author = {{Jöud, Anna and Gerlee, Philip and Spreco, Armin and Timpka, Toomas}},
institution = {{Lund University}},
language = {{swe}},
title = {{Sammanställning och utvärdering av modeller för pandemiprediktion i Sverige under 2020}},
url = {{https://lup.lub.lu.se/search/files/98651815/FULLTEXT02_1_.pdf}},
year = {{2021}},
}