Methodology for Assessing Learning from Incidents - a Process Industry Perspective

Abstract

Learning from incidents (from minor disturbances to major accidents) is considered one of the most important ways in the process industry to learn from experiences for improving safety performance. Most companies have a formal incident learning system and considerable resources are used for reporting incidents and for utilising these experiences to prevent future incidents. However, there are many indications that only a portion of the entire potential for learning from reported incidents is actually utilised. In order to know whether this apprehension is correct and to be able to manage and improve the situation, if necessary, one would need to have a methodology for assessing the learning in such systems. Therefore, the author has undertaken to develop a methodology for this, which is presented in the thesis. The methodology could be used on a wide variety of incident learning systems and by people in the process industry, in authorities and by researchers, with the general aim to improve learning from incidents.

Several aspects of learning need to be included in a methodology for a comprehensive assessment of how effectively the learning from incidents works. One has to be able to address the following types of issues:

1. Do we handle the incidents reported in our incident learning system properly? Do the various steps in the learning cycle work effectively?

2. How much do we learn from the incidents which are reported? How does this learning compare with what could potentially have been extracted? What level of learning are we at and what level could we have achieved?

3. Do we report the incidents that are worth reporting (that have a learning potential)? What is the threshold for reporting? How big is the number of unreported cases, the “hidden number”?

In order to address issue 1, a method has been developed which assesses the effectiveness of learning in every step of the learning cycle (Reporting – Analysis – Decision – Implementation – Follow-up) for each incident, and of the aggregated material of many incidents. The method contains a tool for each step, built on a number of dimensions which in turn contain a number of aspects. By using a rating system including a scale with formulated requirements for some levels, the effectiveness of each step can be assessed numerically for each individual incident.

For issue 2, a method has also been developed that builds on classifying the learning product, the measures taken, in different levels depending on how well the experiences from an incident are handled. The basis for classifying an incident is the geographical application, the degree of organisational learning, and the duration of the measures taken. Incidents are classified both in actual levels of learning based on the measures taken, and in potential levels of learning, indicating the level that could have been achieved if all the potential for learning had been utilised. The relation (the ratio) between actual and potential levels of learning is a measure of the effectiveness of the learning. A specific method for evaluating the underlying causation has been developed to draw conclusions about the potential learning.

For issue 3, a tool has been developed for assessing the threshold for reporting as well as guidelines for what can be considered reasonable frequencies of incident reporting in the process industry. In addition to providing information about how efficient the reporting of incidents is, this will also provide input to the method for issue 2.

Together, the methods with their tools and guidelines constitute a methodology, which allows the user to make a total assessment of the effectiveness of the learning from incidents in process industry companies.

The empirical material for the research was taken from the incident databases of six Swedish process industry companies, and from the EC MARS database for major accidents in enterprises which fall under the Seveso legislation.

The results from the application of the methods have proven that learning from incidents is often limited, especially in relation to what would have been possible to achieve. Effectiveness in the learning cycle is often relatively poor, especially in the analysis and the follow-up steps.

The results from the assessment of the learning effectiveness combined with the results from safety audits often offer valuable insight into the decisive factors for good learning.

Abstract (Swedish)

Popular Abstract in Swedish

Stora resurser används i processindustrin, och i många andra industribranscher, på att

rapportera incidenter för att utnyttja erfarenheterna från dessa för att förebygga

framtida incidenter – alltifrån mindre störningar till olyckor med stora konsekvenser.

Det finns emellertid en hel del som tyder på att man ofta utnyttjar bara en del av hela

den potential för lärande som finns i de incidenter som rapporteras. Flera källor i den

vetenskapliga litteraturen vittnar om detta. Författaren, som tillbringat fyrtio år i

processindustrin har en hel del erfarenheter som pekar på samma sak. För att skapa en

grund för att förbättra denna situation måste man ha en klar och välgrundad

uppfattning om hur tillståndet kring lärandet från incidenter är i en organisation.

Man behöver kunna utvärdera effektiviteten i lärandet för att kunna styra och leda det

mot förbättringar.

Författaren har inte funnit några bra metoder för sådana utvärderingar, varken i den

vetenskapliga litteraturen eller i mer erfarenhetsmässigt baserade applikationer ute

bland företag. Ett starkt behov av att utveckla en metodik, inklusive specifika metoder

och verktyg, för att kunna utvärdera effektiviteten i lärandet från incidenter har alltså

identifierats. Detta faktum var utgångspunkten för det forskningsarbete som

presenteras i denna avhandling. En metodik för att utvärdera effektiviteten i lärandet

från incidenter har tagits fram.

Forskningen är baserad på information om incidenter, som finns samlad i databaser

som täcker en längre tidsperiod (år). De flesta processindustriföretag har idag sådana

databaser för hantering av incidenter, från rapportering till formellt avslut av ärendet,

för ett brett spektrum av incidenter. Även en databas (MARS), administrerad av

Europakommissionen, för stora olyckor med allvarliga konsekvenser har utgjort

material för forskningsarbetet.

För att kunna göra en allomfattande bedömning av hur effektivt lärandet fungerar i

ett processindustriföretag har utgåtts från att flera aspekter i lärandet måste ingå i en

sådan metodik. Man måste kunna få svar på följande typer av frågeställningar:

1. Har vi en effektiv hantering av de incidenter som rapporteras i vårt

system? Fungerar de olika stegen i lärcykeln effektivt?

2. Hur mycket lär vi oss av de incidenter som rapporteras i förhållande till

vad som potentiellt går att lära sig av dem? Vilken lärandenivå ligger vi

på och vilken skulle vi kunna ligga på?

3. Rapporterar vi de incidenter som är värda att rapportera? Vad är tröskeln

för rapportering? Hur stort är mörkertalet?

Framför allt måste i en sådan metodik ingå effektiviteten både i processen för lärande

och av produkten av lärandet, de två klassiska delarna i teorin kring lärande. Som en

tredje och självständig aspekt i att få en heltäckande utvärdering av hur lärandet

VIII

fungerar måste också behandlas frågan om i vilken utsträckning rapportering sker av

de incidenter som är värda att rapportera.

För att kunna ge svar på frågeställning 1 ovan har utvecklats en metod som värderar

effektiviteten i varje steg i vad som här benämns lärcykeln (Rapportering – Analys –

Beslut – Implementering – Uppföljning) för varje enskild incident och dessutom av

ett samlat material av många incidenter. Metoden innehåller verktyg för varje steg,

som bygger på ett antal dimensioner, som i sin tur innehåller ett antal aspekter. Med

hjälp av en konstruerad bedömningsskala med formulerade krav för ett antal nivåer

kan effektiviteten i varje steg bedömas med ett numeriskt värde för varje enskild

incident.

För frågeställning 2 ovan har också utvecklats en metod, som bygger på att klassificera

lärandeprodukten, de genomförda åtgärderna, i olika nivåer beroende på hur väl

erfarenheterna från en incident används. Grunden för att klassificera en incident är

den geografiska appliceringen, graden av organisatoriskt lärande samt tidsaspekten av

de vidtagna åtgärderna. Dels klassificeras en incident i lärandenivå utifrån de faktiskt

vidtagna åtgärderna, dels görs en utvärdering av vilken lärandenivå som varit möjlig

om hela potentialen för lärande utnyttjats. Förhållandet mellan verklig och potentiell

lärandenivå blir ett mått på effektiviteten av lärandet. Ett särskilt verktyg för att

utvärdera den underliggande orsaksbilden har utvecklats för att ur denna kunna dra

slutsatser om det potentiella lärandet. I metoden ingår också att kunna ta hänsyn till

att det oftast finns ett mörkertal av ej rapporterade, men rapportervärda, incidenter,

samt ta hänsyn till eventuellt lärande från ett samlat material av incidenter och även

till eventuellt lärande genom andra sätt än via incidenthanteringssystemet.

För frågeställning 3 ovan har utvecklats ett verktyg för att bedöma tröskeln för

rapportering, samt riktlinjer för vad som kan vara rimliga rapporteringsfrekvenser av

incidenter i processindustrin. Förutom att ge information i sig om hur effektiv

rapporteringen av incidenter är, ger dessa verktyg viss input till metoden för

frågeställning 2.

I forskningen på MARS-databasen har arbetet begränsats till att omfatta frågeställning

2.

Tillsammans utgör metoderna med sina verktyg och riktlinjer en metodik, som

tillåter användaren att göra en utvärdering av effektiviteten i lärandet från incidenter

för företag inom processindustrin.

Empirin för forskningen har varit dels material från incidentdatabaser från sex svenska

processindustriföretag, dels Europakommissionens databas (MARS) för stora olyckor i

verksamheter som faller under Seveso-lagstiftningen. I tillägg har författaren använt

en hel del domänkunskaper som förvärvats under egen verksamhet inom

processindustrin under många år.

IX

Forskningsmetodiken har huvudsakligen byggt på metoder inom designvetenskap och

i någon mån case-study-teknik. Efter att ha etablerat en allmän kunskapsbas samt

formulerat specifika mål för forskningen har arbetssättet bestått av att utveckla

metoder, testa dessa metoder och slutligen utvärdera och modifiera metoderna.

Validiteten av metoderna och verktygen har prövats framför allt genom

expertutlåtanden och genom omdömen från de företag som deltagit i forskningen,

med gott resultat.

Metoderna och verktygen har vid användning på det empiriska underlaget visat sig

fungera mycket väl och givit stabila resultat.

Resultaten från användning av metoderna har bekräftat att lärandet från incidenter

ofta är begränsat, särskilt i förhållande till vad som hade varit möjligt att uppnå.

Effektiviteten i lärcykeln är ofta också relativt svag, särskilt i analyssteget och i

uppföljningssteget. Stora variationer förekommer dock mellan olika företag som

deltagit i forskningsstudien. Resultaten från bedömning av effektiviteten av lärandet

kombinerat med resultaten av säkerhetsrevisioner ger ofta god insyn i vad som är

avgörande faktorer för att nå bra lärande.

Sammanfattningsvis kan konstateras att forskningen som redovisas i denna

avhandling har genererat en metodik som innehåller ett antal metoder och verktyg

som på ett kraftfullt sätt kan användas för att bedöma effektiviteten i ett

processindustriföretags sätt att hantera incidenter. Resultaten från användningen av

denna metodik kan användas för att avgöra var svaga punkter finns och därmed var

utrymme för förbättringar finns. Eftersom metoderna genererar numeriska resultat

kan metoderna också med fördel användas i forskningsarbete där man är intresserad

av att finna korrelationer mellan lärandet från incidenter och andra system eller

företeelser för säkerhet, vilka kan uttryckas numeriskt. Metodiken är avsedd att

användas av personer med en ganska bred bakgrund i säkerhetsfrågor.

• author: Jacobsson, Anders
• supervisor: Roland Akselsson; Gerd Johansson
• opponent: Professor Hovden, Jan, NTNU, Trondheim, Norway
• organization: Division of Fire Safety Engineering
• publishing date: 2011
• type: Thesis
• publication status: published
• subject: Engineering and Technology
• keywords: Accidents, Incidents, Learning from incidents, Learning cycle, Lesson learned, Process industry
• pages: 141 pages
• defense location: Stora hörsalen, Department of Design Sciences, Ingvar Kamprad Designcentrum, Sölvegatan 26, Lund University Faculty of Engineering
• defense date: 2011-06-01 10:15:00
• ISBN: 978-91-7473-128-6
• language: English
• LU publication?: yes
• id: 9b42612f-cacf-4ed7-8aee-ff7aa27d5b17 (old id 1939961)
• date added to LUP: 2016-04-01 13:29:14
• date last changed: 2018-11-21 20:16:37