Methodology for Assessing Learning from Incidents - a Process Industry Perspective
(2011)- Abstract
- Learning from incidents (from minor disturbances to major accidents) is considered one of the most important ways in the process industry to learn from experiences for improving safety performance. Most companies have a formal incident learning system and considerable resources are used for reporting incidents and for utilising these experiences to prevent future incidents. However, there are many indications that only a portion of the entire potential for learning from reported incidents is actually utilised. In order to know whether this apprehension is correct and to be able to manage and improve the situation, if necessary, one would need to have a methodology for assessing the learning in such systems. Therefore, the author has... (More)
- Learning from incidents (from minor disturbances to major accidents) is considered one of the most important ways in the process industry to learn from experiences for improving safety performance. Most companies have a formal incident learning system and considerable resources are used for reporting incidents and for utilising these experiences to prevent future incidents. However, there are many indications that only a portion of the entire potential for learning from reported incidents is actually utilised. In order to know whether this apprehension is correct and to be able to manage and improve the situation, if necessary, one would need to have a methodology for assessing the learning in such systems. Therefore, the author has undertaken to develop a methodology for this, which is presented in the thesis. The methodology could be used on a wide variety of incident learning systems and by people in the process industry, in authorities and by researchers, with the general aim to improve learning from incidents.
Several aspects of learning need to be included in a methodology for a comprehensive assessment of how effectively the learning from incidents works. One has to be able to address the following types of issues:
1. Do we handle the incidents reported in our incident learning system properly? Do the various steps in the learning cycle work effectively?
2. How much do we learn from the incidents which are reported? How does this learning compare with what could potentially have been extracted? What level of learning are we at and what level could we have achieved?
3. Do we report the incidents that are worth reporting (that have a learning potential)? What is the threshold for reporting? How big is the number of unreported cases, the “hidden number”?
In order to address issue 1, a method has been developed which assesses the effectiveness of learning in every step of the learning cycle (Reporting – Analysis – Decision – Implementation – Follow-up) for each incident, and of the aggregated material of many incidents. The method contains a tool for each step, built on a number of dimensions which in turn contain a number of aspects. By using a rating system including a scale with formulated requirements for some levels, the effectiveness of each step can be assessed numerically for each individual incident.
For issue 2, a method has also been developed that builds on classifying the learning product, the measures taken, in different levels depending on how well the experiences from an incident are handled. The basis for classifying an incident is the geographical application, the degree of organisational learning, and the duration of the measures taken. Incidents are classified both in actual levels of learning based on the measures taken, and in potential levels of learning, indicating the level that could have been achieved if all the potential for learning had been utilised. The relation (the ratio) between actual and potential levels of learning is a measure of the effectiveness of the learning. A specific method for evaluating the underlying causation has been developed to draw conclusions about the potential learning.
For issue 3, a tool has been developed for assessing the threshold for reporting as well as guidelines for what can be considered reasonable frequencies of incident reporting in the process industry. In addition to providing information about how efficient the reporting of incidents is, this will also provide input to the method for issue 2.
Together, the methods with their tools and guidelines constitute a methodology, which allows the user to make a total assessment of the effectiveness of the learning from incidents in process industry companies.
The empirical material for the research was taken from the incident databases of six Swedish process industry companies, and from the EC MARS database for major accidents in enterprises which fall under the Seveso legislation.
The results from the application of the methods have proven that learning from incidents is often limited, especially in relation to what would have been possible to achieve. Effectiveness in the learning cycle is often relatively poor, especially in the analysis and the follow-up steps.
The results from the assessment of the learning effectiveness combined with the results from safety audits often offer valuable insight into the decisive factors for good learning. (Less) - Abstract (Swedish)
- Popular Abstract in Swedish
Stora resurser används i processindustrin, och i många andra industribranscher, på att
rapportera incidenter för att utnyttja erfarenheterna från dessa för att förebygga
framtida incidenter – alltifrån mindre störningar till olyckor med stora konsekvenser.
Det finns emellertid en hel del som tyder på att man ofta utnyttjar bara en del av hela
den potential för lärande som finns i de incidenter som rapporteras. Flera källor i den
vetenskapliga litteraturen vittnar om detta. Författaren, som tillbringat fyrtio år i
processindustrin har en hel del erfarenheter som pekar på samma sak. För att skapa en
grund för att förbättra denna... (More) - Popular Abstract in Swedish
Stora resurser används i processindustrin, och i många andra industribranscher, på att
rapportera incidenter för att utnyttja erfarenheterna från dessa för att förebygga
framtida incidenter – alltifrån mindre störningar till olyckor med stora konsekvenser.
Det finns emellertid en hel del som tyder på att man ofta utnyttjar bara en del av hela
den potential för lärande som finns i de incidenter som rapporteras. Flera källor i den
vetenskapliga litteraturen vittnar om detta. Författaren, som tillbringat fyrtio år i
processindustrin har en hel del erfarenheter som pekar på samma sak. För att skapa en
grund för att förbättra denna situation måste man ha en klar och välgrundad
uppfattning om hur tillståndet kring lärandet från incidenter är i en organisation.
Man behöver kunna utvärdera effektiviteten i lärandet för att kunna styra och leda det
mot förbättringar.
Författaren har inte funnit några bra metoder för sådana utvärderingar, varken i den
vetenskapliga litteraturen eller i mer erfarenhetsmässigt baserade applikationer ute
bland företag. Ett starkt behov av att utveckla en metodik, inklusive specifika metoder
och verktyg, för att kunna utvärdera effektiviteten i lärandet från incidenter har alltså
identifierats. Detta faktum var utgångspunkten för det forskningsarbete som
presenteras i denna avhandling. En metodik för att utvärdera effektiviteten i lärandet
från incidenter har tagits fram.
Forskningen är baserad på information om incidenter, som finns samlad i databaser
som täcker en längre tidsperiod (år). De flesta processindustriföretag har idag sådana
databaser för hantering av incidenter, från rapportering till formellt avslut av ärendet,
för ett brett spektrum av incidenter. Även en databas (MARS), administrerad av
Europakommissionen, för stora olyckor med allvarliga konsekvenser har utgjort
material för forskningsarbetet.
För att kunna göra en allomfattande bedömning av hur effektivt lärandet fungerar i
ett processindustriföretag har utgåtts från att flera aspekter i lärandet måste ingå i en
sådan metodik. Man måste kunna få svar på följande typer av frågeställningar:
1. Har vi en effektiv hantering av de incidenter som rapporteras i vårt
system? Fungerar de olika stegen i lärcykeln effektivt?
2. Hur mycket lär vi oss av de incidenter som rapporteras i förhållande till
vad som potentiellt går att lära sig av dem? Vilken lärandenivå ligger vi
på och vilken skulle vi kunna ligga på?
3. Rapporterar vi de incidenter som är värda att rapportera? Vad är tröskeln
för rapportering? Hur stort är mörkertalet?
Framför allt måste i en sådan metodik ingå effektiviteten både i processen för lärande
och av produkten av lärandet, de två klassiska delarna i teorin kring lärande. Som en
tredje och självständig aspekt i att få en heltäckande utvärdering av hur lärandet
VIII
fungerar måste också behandlas frågan om i vilken utsträckning rapportering sker av
de incidenter som är värda att rapportera.
För att kunna ge svar på frågeställning 1 ovan har utvecklats en metod som värderar
effektiviteten i varje steg i vad som här benämns lärcykeln (Rapportering – Analys –
Beslut – Implementering – Uppföljning) för varje enskild incident och dessutom av
ett samlat material av många incidenter. Metoden innehåller verktyg för varje steg,
som bygger på ett antal dimensioner, som i sin tur innehåller ett antal aspekter. Med
hjälp av en konstruerad bedömningsskala med formulerade krav för ett antal nivåer
kan effektiviteten i varje steg bedömas med ett numeriskt värde för varje enskild
incident.
För frågeställning 2 ovan har också utvecklats en metod, som bygger på att klassificera
lärandeprodukten, de genomförda åtgärderna, i olika nivåer beroende på hur väl
erfarenheterna från en incident används. Grunden för att klassificera en incident är
den geografiska appliceringen, graden av organisatoriskt lärande samt tidsaspekten av
de vidtagna åtgärderna. Dels klassificeras en incident i lärandenivå utifrån de faktiskt
vidtagna åtgärderna, dels görs en utvärdering av vilken lärandenivå som varit möjlig
om hela potentialen för lärande utnyttjats. Förhållandet mellan verklig och potentiell
lärandenivå blir ett mått på effektiviteten av lärandet. Ett särskilt verktyg för att
utvärdera den underliggande orsaksbilden har utvecklats för att ur denna kunna dra
slutsatser om det potentiella lärandet. I metoden ingår också att kunna ta hänsyn till
att det oftast finns ett mörkertal av ej rapporterade, men rapportervärda, incidenter,
samt ta hänsyn till eventuellt lärande från ett samlat material av incidenter och även
till eventuellt lärande genom andra sätt än via incidenthanteringssystemet.
För frågeställning 3 ovan har utvecklats ett verktyg för att bedöma tröskeln för
rapportering, samt riktlinjer för vad som kan vara rimliga rapporteringsfrekvenser av
incidenter i processindustrin. Förutom att ge information i sig om hur effektiv
rapporteringen av incidenter är, ger dessa verktyg viss input till metoden för
frågeställning 2.
I forskningen på MARS-databasen har arbetet begränsats till att omfatta frågeställning
2.
Tillsammans utgör metoderna med sina verktyg och riktlinjer en metodik, som
tillåter användaren att göra en utvärdering av effektiviteten i lärandet från incidenter
för företag inom processindustrin.
Empirin för forskningen har varit dels material från incidentdatabaser från sex svenska
processindustriföretag, dels Europakommissionens databas (MARS) för stora olyckor i
verksamheter som faller under Seveso-lagstiftningen. I tillägg har författaren använt
en hel del domänkunskaper som förvärvats under egen verksamhet inom
processindustrin under många år.
IX
Forskningsmetodiken har huvudsakligen byggt på metoder inom designvetenskap och
i någon mån case-study-teknik. Efter att ha etablerat en allmän kunskapsbas samt
formulerat specifika mål för forskningen har arbetssättet bestått av att utveckla
metoder, testa dessa metoder och slutligen utvärdera och modifiera metoderna.
Validiteten av metoderna och verktygen har prövats framför allt genom
expertutlåtanden och genom omdömen från de företag som deltagit i forskningen,
med gott resultat.
Metoderna och verktygen har vid användning på det empiriska underlaget visat sig
fungera mycket väl och givit stabila resultat.
Resultaten från användning av metoderna har bekräftat att lärandet från incidenter
ofta är begränsat, särskilt i förhållande till vad som hade varit möjligt att uppnå.
Effektiviteten i lärcykeln är ofta också relativt svag, särskilt i analyssteget och i
uppföljningssteget. Stora variationer förekommer dock mellan olika företag som
deltagit i forskningsstudien. Resultaten från bedömning av effektiviteten av lärandet
kombinerat med resultaten av säkerhetsrevisioner ger ofta god insyn i vad som är
avgörande faktorer för att nå bra lärande.
Sammanfattningsvis kan konstateras att forskningen som redovisas i denna
avhandling har genererat en metodik som innehåller ett antal metoder och verktyg
som på ett kraftfullt sätt kan användas för att bedöma effektiviteten i ett
processindustriföretags sätt att hantera incidenter. Resultaten från användningen av
denna metodik kan användas för att avgöra var svaga punkter finns och därmed var
utrymme för förbättringar finns. Eftersom metoderna genererar numeriska resultat
kan metoderna också med fördel användas i forskningsarbete där man är intresserad
av att finna korrelationer mellan lärandet från incidenter och andra system eller
företeelser för säkerhet, vilka kan uttryckas numeriskt. Metodiken är avsedd att
användas av personer med en ganska bred bakgrund i säkerhetsfrågor. (Less)
Please use this url to cite or link to this publication:
https://lup.lub.lu.se/record/1939961
- author
- Jacobsson, Anders LU
- supervisor
- opponent
-
- Professor Hovden, Jan, NTNU, Trondheim, Norway
- organization
- publishing date
- 2011
- type
- Thesis
- publication status
- published
- subject
- keywords
- Accidents, Incidents, Learning from incidents, Learning cycle, Lesson learned, Process industry
- pages
- 141 pages
- publisher
- Lund University/EAT
- defense location
- Stora hörsalen, Department of Design Sciences, Ingvar Kamprad Designcentrum, Sölvegatan 26, Lund University Faculty of Engineering
- defense date
- 2011-06-01 10:15:00
- ISBN
- 978-91-7473-128-6
- language
- English
- LU publication?
- yes
- id
- 9b42612f-cacf-4ed7-8aee-ff7aa27d5b17 (old id 1939961)
- date added to LUP
- 2016-04-01 13:29:14
- date last changed
- 2018-11-21 20:16:37
@phdthesis{9b42612f-cacf-4ed7-8aee-ff7aa27d5b17, abstract = {{Learning from incidents (from minor disturbances to major accidents) is considered one of the most important ways in the process industry to learn from experiences for improving safety performance. Most companies have a formal incident learning system and considerable resources are used for reporting incidents and for utilising these experiences to prevent future incidents. However, there are many indications that only a portion of the entire potential for learning from reported incidents is actually utilised. In order to know whether this apprehension is correct and to be able to manage and improve the situation, if necessary, one would need to have a methodology for assessing the learning in such systems. Therefore, the author has undertaken to develop a methodology for this, which is presented in the thesis. The methodology could be used on a wide variety of incident learning systems and by people in the process industry, in authorities and by researchers, with the general aim to improve learning from incidents.<br/><br> Several aspects of learning need to be included in a methodology for a comprehensive assessment of how effectively the learning from incidents works. One has to be able to address the following types of issues:<br/><br> 1. Do we handle the incidents reported in our incident learning system properly? Do the various steps in the learning cycle work effectively?<br/><br> 2. How much do we learn from the incidents which are reported? How does this learning compare with what could potentially have been extracted? What level of learning are we at and what level could we have achieved?<br/><br> 3. Do we report the incidents that are worth reporting (that have a learning potential)? What is the threshold for reporting? How big is the number of unreported cases, the “hidden number”? <br/><br> In order to address issue 1, a method has been developed which assesses the effectiveness of learning in every step of the learning cycle (Reporting – Analysis – Decision – Implementation – Follow-up) for each incident, and of the aggregated material of many incidents. The method contains a tool for each step, built on a number of dimensions which in turn contain a number of aspects. By using a rating system including a scale with formulated requirements for some levels, the effectiveness of each step can be assessed numerically for each individual incident. <br/><br> For issue 2, a method has also been developed that builds on classifying the learning product, the measures taken, in different levels depending on how well the experiences from an incident are handled. The basis for classifying an incident is the geographical application, the degree of organisational learning, and the duration of the measures taken. Incidents are classified both in actual levels of learning based on the measures taken, and in potential levels of learning, indicating the level that could have been achieved if all the potential for learning had been utilised. The relation (the ratio) between actual and potential levels of learning is a measure of the effectiveness of the learning. A specific method for evaluating the underlying causation has been developed to draw conclusions about the potential learning. <br/><br> For issue 3, a tool has been developed for assessing the threshold for reporting as well as guidelines for what can be considered reasonable frequencies of incident reporting in the process industry. In addition to providing information about how efficient the reporting of incidents is, this will also provide input to the method for issue 2. <br/><br> Together, the methods with their tools and guidelines constitute a methodology, which allows the user to make a total assessment of the effectiveness of the learning from incidents in process industry companies.<br/><br> The empirical material for the research was taken from the incident databases of six Swedish process industry companies, and from the EC MARS database for major accidents in enterprises which fall under the Seveso legislation. <br/><br> The results from the application of the methods have proven that learning from incidents is often limited, especially in relation to what would have been possible to achieve. Effectiveness in the learning cycle is often relatively poor, especially in the analysis and the follow-up steps. <br/><br> The results from the assessment of the learning effectiveness combined with the results from safety audits often offer valuable insight into the decisive factors for good learning.}}, author = {{Jacobsson, Anders}}, isbn = {{978-91-7473-128-6}}, keywords = {{Accidents; Incidents; Learning from incidents; Learning cycle; Lesson learned; Process industry}}, language = {{eng}}, publisher = {{Lund University/EAT}}, school = {{Lund University}}, title = {{Methodology for Assessing Learning from Incidents - a Process Industry Perspective}}, url = {{https://lup.lub.lu.se/search/files/3400233/1939964.pdf}}, year = {{2011}}, }