Risk based monitoring in clinical studies – improving data quality

Abstract

Study quality is of paramount importance in clinical studies to ensure patient safety and reliable
evaluation of the treatment, where the latter also entails the safety of future patients. Therefore, for
example monitoring is required to minimise any risk of quality loss. Traditionally, the method for
monitoring has been 100% source data verification which is costly and not sufficient. Today, authoritiesworldwide recommend risk based monitoring (RBM), which is a tool to monitor study site activities and it signals for unexpected deviations in processes or in data. RBM is to a large extent based on central statistical monitoring (CSM) using statistical analysis, and organisations involved in clinical studies are in the process of implementing these recommendations. However, since the methods are still in a stage of development further knowledge on the subject is needed. In this thesis, RBM was reviewed and selected methods were used to monitor a subsection of data from a clinical study conducted by TFS (Trial Form Support, Lund, Sweden). The key risk indicators for adverse events and serious adverse events were analysed using supervised and unsupervised statistical analysis which resulted in 19% of the sites being flagged for further investigation. Further adjustments of the methods are needed. The major difficulties in implementing RBM lie in the set-up and especially in that of supervised analysis. Further studies that share technical details and hands-on experience of CSM are needed to drive the development of RBM in clinical studies globally for general study quality improvement

Popular Abstract (Swedish)

Riskbaserad monitorering – ett sätt att säkerställa kvalitet i kliniska studier

Kliniska studier undersöker effekter av medicinska behandlingar på människor. De är hårt reglerade för att säkerställa patientsäkerhet, det vill säga att försökspersonerna inte utsätts för onödiga hälsorisker, och för att säkerställa ett pålitligt studieresultat. Därför behöver alla processer och all data i varje studie monitoreras och granskas. Stora kliniska studier kan omfatta hundratals patienter på kliniker i flera länder och monitoreringen av dessa har traditionellt gjorts genom personlig kontakt med varje klinik och med en 100%-ig granskning av individuella observationer, till exempel mätvärden, på klinikerna. Ett alternativ till detta, som nu rekommenderas av myndigheter världen över, är så kallad riskbaserad monitorering eller RBM. Organisationer som arbetar med kliniska studier har börjat använda sig av RBM men metoden är fortfarande under utveckling och mer kunskap om hur den kan användas behövs. Syftet med denna uppsats är att teoretiskt undersöka hur forskare ser på RBM och att praktiskt testa några utvalda RBM-metoder. Den teoretiska delen gjordes med en sammanfattning efter en litteraturgranskning och den praktiska gjordes på data från och i samarbete med TFS (Trial Form Support), ett företag som utför kliniska studier.

Den teoretiska sammanfattningen gav följande. RBM innebär att fokus läggs på arbetsprocesser snarare än på mätvärden i sig och på de utvalda detaljer i processerna som kan visa på risker, det vill säga, risker att patientsäkerheten eller pålitligheten i studieresultatet äventyras. De utvalda processdetaljerna kallas ”Key risk indicators” eller KRI. En översättning till svenska kan vara ”nyckelindikatorer för risk”. Dessa kan till exempel vara hur stor andel av patienterna vid en klinik som är felaktigt inkluderade i en studie, hur lång tid det tar för kliniken att fylla i frågeformulär eller hur stor mängd data som saknas från en klinik. Information om KRI samlas in som data från alla kliniker och undersöks centralt. Detta innebär en stor fördel eftersom klinikerna eller länderna på så sätt kan jämföras mot varandra. Syftet med RBM är att hitta kliniker som uppvisar tecken på eventuell risk eller som på något sätt avviker från de andra klinikerna. Detta kan innebära att dessa kliniker av någon anledning inte följer studiens protokoll. Men, RBM visar alltså inte att det finns en faktisk risk utan flaggar för att ytterligare monitorering av specifika kliniker kan behövas vilken i sin tur avgör om risk finns och om åtgärder bör sättas in.

KRI-data kan analyseras (så kallad KRI-baserad analys) på två olika sätt: med eller utan förbestämda tröskelvärden. Analys med förbestämda tröskelvärden innebär en enkel process där data visualiseras med trafiksignaler: grönt, gult och rött. Grönt för kliniker som har godkända värden (till exempel 50-70% inkluderade patienter när 60% är det som förväntas), gult för kliniker med värden som kanske innebär risk (till exempel 40-50% eller 70-80%) och rött för kliniker med värden som förmodligen innebär risk (till exempel mindre än 40% eller mer än 80%). Analys utan förbestämda tröskelvärden innebär att data analyseras med statistiska metoder, till exempel visualisering med låddiagram (box plots på engelska) eller sambandsdiagram (scatter plot på engelska) eller statistiska tester. Användandet av statistiska metoder kan också utvidgas till att omfatta all tillgänglig data med syfte att hitta kliniker eller länder som avviker jämfört med andra. Detta kallas icke-KRI-baserad analys.

Till den praktiska metodundersökningen valdes två KRI för KRI-baserad analys, med och utan förbestämda tröskelvärden. De utvalda KRI var mängden rapporterade ”adverse events” eller AE, vilket är alla kliniska upplevelser, symptom och tecken som upplevs av patienterna under en studie, och ”serious adverse events” eller SAE, vilket är de AE som är livshotande, kräver sjukhusvård eller orsakar medfödda missbildningar. Analys med förbestämda tröskelvärden försvårades då studiedata kom från ett tidigt stadium i den kliniska studien vilket innebar att många kliniker inte hunnit rekrytera så många patienter och bidrog därför med väldigt lite data. Därför sattes ett inklusionskriterium: endast kliniker med tillräckligt lång patienttid, det vill säga totala antalet dagar som patienterna tillsammans vid en klinik varit i studien, inkluderades i analysen. På så vis exkluderades 24 av 75 kliniker. Flera olika tröskelvärden testades. Det största problemet här var att fånga både kliniker som överrapporterar och de som underrapporterar med en enda typ av tröskelvärden, vilket var svårt eftersom AE- och SAE-data visade sig vara skevt fördelade, med fler låga värden än höga. Dessutom, om statistiska principer används som grund för tröskelvärden så flaggas alltid några kliniker. Av dessa anledningar kan det därför vara bättre med tröskelvärden som baseras på gränser utifrån erfarenhet och kliniskt kunnande. Med det slutgiltiga valet av tröskelvärden så flaggades mer än 43% av de analyserade klinikerna vilket är en väldigt stor andel. Analysen utan förbestämda tröskelvärden visade att det fanns variation i AE- och SAE-data beroende på land men inte beroende på kliniker inom de avvikande länderna. Totalt sett så identifierades dock ungefär samma kliniker som avvikande som vid analys med förbestämda tröskelvärden. Ett mer restriktivt urval av dessa gav att 19% av klinikerna flaggades med stort överlapp mellan analys med och utan förbestämda tröskelvärden.

För icke-KRI-baserad analys valdes två biomarkörer och analysen visade inte på någon signifikant variation i mätvärden beroende på land eller klinik. Dessutom var dessa två biomarkörer starkt korrelerade med nästan identisk distribution av data vilket gjorde att icke-KRI-baserad analys inte kunde utvärderas fullständigt.

Denna uppsats visar att de utvärderade RBM-metoderna förefaller vara tillfredsställande och enkla att använda. Dock visas också på många svårigheter under själva konstruktionen av dessa för en enskild studie och att hänsyn måste tas till flera aspekter. Exempel på dessa är huruvida all data ska inkluderas i analyser och om inte, hur urvalet ska ske, val av tröskelvärden, hur data med skev fördelning bör hanteras, val av statistiska metoder och alfa-nivåer. Uppsatsen beskriver också att analys utan bestämda tröskelvärden kan vara ett verktyg för att sätta upp analysmetod med tröskelvärden. Icke-KRI-baserad analysmetod kunde inte utvärderas fullständigt. Slutligen beskrivs att mer kunskap om det praktiska användandet av RBM behövs för att effektivt utveckla och förbättra monitoreringsprocesserna av kliniska studier.

• author: Ståhl Bengtsson, Sara
• supervisor: Umberto Picchini
• organization: Mathematical Statistics
• course: MASK01 20172
• year: 2017
• type: M2 - Bachelor Degree
• subject: Mathematics and Statistics
• language: English
• id: 8928535
• date added to LUP: 2017-11-15 12:59:51
• date last changed: 2017-11-15 12:59:51