New Evidence for Selective Reporting in Climate Change Science

Abstract (Swedish)

Populärvetenskaplig sammanfattning:

Är klimatforskningen skev?

En central fråga är om vi kan lita på att vetenskapliga tidskrifter återger en rättvis bild av aktuella forskningsresultat? Dessutom bör vi fråga oss hur rapporteringen påverkas då betydande händelser sker inom vetenskapsvärlden. I november 2007 och senare 2009 skedde två viktiga företeelser inom klimatforskningen som potentiellt kan ha påverkat giltigheten och forskningsetiken inom detta forskningsfält. Den första händelsen 2007 var FNs konstaterande om mänskliga orsaker till klimatförändringar, medan den andra omständigheten 2009 var kontroversen kring ”Climategate”. Denna studie visar på att både positiva och negativa resultat har publicerats, men studien påvisar indikationer på skevheter som kan kopplas till händelserna 2007 och 2009. Resultaten tyder även på att inflytelserikare tidskrifter överlag publicerar rapporter med starkare effekter men med lägre genomsnittlig stickprovstorlek.

I november 2007 konstaterade FNs klimatpanel, IPCC, att det finns en vetenskaplig konsensus som till ca 90 % säkerhet fastställer att klimatförändringar är orsakade av mänskliga utsläpp. Detta gav upphov till flera kritiska röster bland både forskare och politiker. Kritiken nådde sin kulmen i november 2009 då över tusen klimatdatafiler och e-mail konversationer mellan framstående klimatforskare stals från klimatforskningsenheten vid University of East Anglia. Dessa filer påstods bevisa att IPCCs forskningsgrupp hade manipulerat och dolt oönskade resultat samt aktivt motarbetat negativa rapporter från att publiceras. Trots att IPCC senare blev friade av fem oberoende expertgrupper, har klimatforskningens förtroende försämrats. Dessa två händelser inom klimatforskningen ger en möjlighet att studera ifall betydande händelser inom forskarvärlden kan ge upphov till publikationsskevheter och/eller selektiv rapportering i vetenskapliga tidskrifter.

Publikationsskevheter uppkommer när positiva studier hanteras fördelaktigt gentemot negativa studier. Det vill säga där negativa studier utesluts från publicering och därav inte uppmärksammas av varken allmänhet eller forskare. Detta kan bero på två orsaker; då forskningsresultat inte sänds in till vetenskapliga tidskrifter då negativa resultat uppfattas som ointressanta, eller att chefredaktörer och/eller granskare väljer att inte publicera studien.

En mindre allvarlig företeelse av publikationsskevheter är selektiv rapportering. Vid selektiv rapportering behandlas positiva resultat mer fördelaktigt gentemot negativa resultat. Detta kan uttrycka sig genom att positiva resultat lyfts fram i exempelvis abstrakt och negativa resultat får en mer undanskymd plats i övriga texten. Andra exempel på selektiv rapportering kan vara en plötslig ökning av antalet publicerade vetenskapliga studier inom ett forskningsområde som är starkt kopplat till en eller flera specifika händelser.

I mitt examensarbete har jag undersökt en möjlig publikationsskevhet och en eventuell selektiv rapportering i vetenskapliga klimatundersökningar som är kopplat till händelserna 2007 och 2009. I denna studie har jag analyserat 1154 resultat från 120 marina klimatrapporter – insamlade från 31 olika vetenskapliga tidskrifter i en så kallad meta-analys.

Meta-analys är en statistisk metod som används för att kunna dra allmänna slutsatser från en mängd publicerade studier. Denna metod möjliggör att studera publikationsskevheter genom både kvalitativa grafer och figurer, men även via kvantitativa statistiska test. Genom att använda sig av flera kompletterande metoder kan man öka möjligheten att upptäcka olika sorters publikationsskevheter.

Min studie visar på att både negativa och positiva resultat har publicerats i vetenskapliga klimatrapporter. Resultatet demonstrerar att den vetenskapliga metodiken är robust, och att publicerade arbeten åskådliggör en komplett bild av klimatproblemet. Mina resultat visar däremot på att viktiga händelser inom forskarvärlden påverkar viljan att publicera. Positiva händelser tenderar att driva upp antalet publicerade rapporter och även den genomsnittliga effekten – medan negativa händelser tycks skapa en större försiktighet gentemot högre och spektakulära resultat. Studien visar även att resultat som presenteras i abstrakt har en stark tendens att ha betydligt större effekter än övriga resultatet. Detta är tydligt fram till då ”Climategate” händelsen inträffar, därefter försvinner denna effekt.

Slutligen tyder resultaten på att rapporter som publicerats i mer inflytelserika tidskrifter inte bara genomsnittligt påvisar starkare effekter av klimatförändringarna utan grundas på studier med lägre stickprovstorlekar. Denna skevhet belyser möjligen att högt framstående vetenskapliga tidskrifter tenderar till att publicera mer uppseendeväckande resultat, en hållning som skulle kunna ge fördelar i citeringar och mer publicitet.

Handledare: Johan Hollander
Examensarbete för masterexamen 60 hp i Biologi – Marinbiologi* 2013
Biologiska institutionen, Lunds universitet
*Examensarbetsämne: Biologi – Marinbiologi

Abstract

Abstract

The declaration of a scientific consensus concerning anthropogenic causes for climate change by the IPCC in their fourth assessment report (AR4), published in 2007, initiated a heated debate. During this debate, experts within the IPCC were accused of selective reporting and the AR4 got strong source criticism by politicians, stakeholders and climate skeptics in general. The debate further intensified in 2009 when over a thousand e-mails and climate data, stolen from the CRU-UEA, were illegally published online. The data were proclaimed to prove that climate scientists within IPCC were guilty of scientific misconduct and selective reporting. These accusations remain even though the IPCC was cleared of all charges by several independent panels in 2010. Publication bias and selective reporting, which previously have been found in different fields, most notably in medical science, could cause inaccurate conclusions and subsequently the implementation of useless or even dangerous policies. This study utilizes meta-analyzes including 1154 results from 120 studies to scrutinize the marine climate change publication record to find a potential publication bias or selective reporting. Although no evidence for publication bias was found, clear evidence for selective reporting was apparent in the data. After the declaration of a scientific consensus in 2007, the amount of published reports increased from approximately 5 in previous years, to 14 in 2008 and 26 in 2009. The reported cumulative effect size also increased significantly after the release of IPCC-AR4, however, this effect diminished after the “Climategate” event transpired in 2009. Cumulated effect sizes were significantly higher in abstract compared to the main data, except in reports published after “Climategate” where main and abstract results displayed no significant differences. Additionally, an increased reported effect size and decreased sample sizes with higher impact journals were established. These results suggest that the climate change publication record and, also, the relationship between high and low impact journals are somewhat skewed. Events such as the release of IPCC-AR4 and “Climategate” have clearly affected the publishing decisions of authors and editors of scientific journals. Extended studies including terrestrial and limnetic ecosystems are required to further support these conclusions and to check whether the trends are general.

• author: Harlos, Christian
• supervisor: Johan Hollander
• organization: Degree Projects in Biology
• course: BIOP21 20112
• year: 2013
• type: H2 - Master's Degree (Two Years)
• subject: Biology and Life Sciences
• language: English
• id: 4139643
• date added to LUP: 2013-10-30 11:54:12
• date last changed: 2013-10-30 13:35:58