Simulation of Screening ECG data for Training of ML-based AF Detectors

Abstract

Atrial fibrillation (AF) is an arrhythmia distinguished by irregular heartbeats, which has seen a significant rise in prevalence globally. Due to the risk of strokes, the condition necessitates early detection and intervention to prevent severe complications, highlighting the critical role of early and precise detection techniques. To effectively train and validate machine learning (ML) models, having a representative, accurate, and substantial amount of data is essential. Patient data is, however, difficult to access due to privacy and security concerns, regulatory compliance, and the limited data-sharing culture. This Master's thesis investigates the potential of simulating thumb-ECG data that accurately represents the rhythm and noise distribution of those frequent in an AF screening database. To assess the quality of the simulated data, ML-based AF detectors were constructed, and performance on simulated data and real patient data was compared.

Data simulation was conducted by implementing the simECG_2022 by Bachi et al., aiming for similar rhythm and noise complexity as in the STROKESTOP I (SSI) database. The simulation of test data yielded 87 AF patients with 266 AF signals, compared to 84 patients and 278 ECG recordings in the SSI data set. Implementing a computerized reference algorithm, EPS, on the simulated test data and the SSI, the tag value of No Rhythm Deviation was annotated in 70.36% versus 74.77% of the recorded signals. The distribution of Other Pathology was found in 23.77% and 18.75% of the signals, respectively. The distributions of signals annotated as Poor Quality was 0.12% versus 0.94%, contributing to the simulated test set being generally less noisy than the SSI data set. For the implementation of AF detectors, a training data set was simulated, aiming for a larger AF prevalence. Simulation of training data resulted in 471 AF patients, recording 4876 pathological recordings.

During the model implementation stage, one sample-based, two feature-based, and two feature-frame-based models were trained, validated, and tested on simulated data. The models showed high overall performance on simulated test data, where the sample-based model reached a sensitivity of 99.3% on a signal basis and 100.0% on an individual patient level. The corresponding positive predictive values were 75.9% and 68.0%.

Final testing on SSI resulted in a varying performance, where the sample-based, using raw ECG as model input, displayed limited generalization. Two feature-frame-based models, which instead utilized features derived from RR intervals, demonstrated greater adaptability. On a patient basis, the models achieved a sensitivity of 98.7% and 97.6%, respectively, with one and two misdiagnosed AF patients. The corresponding positive predictive values were 6.8% and 10.2%. The results concluded that the study was less successful in simulating all aspects of signal and noise manifestation, which originates from the limitations of the simulator and limited knowledge of SSI signal appearance. By instead utilizing specific characteristics of the simulated RR intervals, generalization could be achieved, demonstrating great promise for employing simulated data in AF detector applications.

Popular Abstract (Swedish)

Simulerad patientdata och AI för förbättrad upptäckt av förmaksflimmer

År 2030 förväntas upp emot 17 miljoner människor i Europa lida av förmaks-flimmer, en sjukdom med mycket allvarliga konsekvenser. Denna studie utforskar användningen av simulering och maskininlärning för att effektivisera diagnostiseringen, och därigenom potentiellt förebygga uppemot 20% av alla strokes.

I Sverige uppskattas runt en halv miljon människor lida av förmaksflimmer och mörkertalet anses vara stort då sjukdomen kan förekomma utan symptom. Förmaksflimmer är i sig inte livshotande, men utan behandling ger det en kraftigt ökad risk för stroke, hjärtsvikt och demens. De socioekonomiska konsekvenserna är stora, vilket framhäver behovet av tidig och pålitlig diagnostisering. Nya studier har visat att screening av förmaksflimmer kan leda till minskade komplikationer och medför kostnadsbesparingar för samhället.

Maskininlärning (ML) har revolutionerat tekniken i stort de senaste åren, och inte minst inom sjukvården, där man ser stor potential inom bland annat bildgivande system, behandling och diagnostisering. För att en maskinlärningmodell ska bli riktigt effektiv, behövs stora mängder representativ data för att den ska lära sig och förstå de komplexa mönstren som finns. Medicinsk data är ofta svår att få tillgång till, på grund av sekretess, regelverk och begränsad datadelningskultur. Det återstår därför ett problem med att skapa säkra och effektiva modeller: hur ska man få tillgång till den stora mängd data som krävs?

I december 2023 presenterades en EKG-simulator med egenskapen att generera en stor mängd signaler med olika brus, rytmer och artefakter, som gav hopp av att lösa detta problem. Det här examensarbetet undersökte möjligheten att använda simulatorn för att efterlikna en databas från en screeningstudie som genomförts på 75- och 76-åringar i två svenska regioner. Målet var att generera EKG-signaler med samma sorts rytmer och brus som de riktiga signalerna innehöll. Den simulerade datan användes därefter till att träna ML-modeller för att kunna automatisera diagnostiseringen av förmaksflimmer. Modellerna testades sedan på den riktiga screening-databasen.

Resultaten av studien visade att det var möjligt att utnyttja simulerad EKG-data för att framställa detektorer för förmaksflimmer. Alla sjuka patienter identifierades förutom en, samtidigt som antalet manuella undersökningar minskade med nästan två tredjedelar. Med utökade simuleringar, där en större variation av rytmer och brus inkluderas, kan resultaten bli ännu bättre. Att effektivisera screeningprogram med hjälp av maskininlärning kan spara tid, pengar och arbetsbelastning för sjukvården, samt underlätta diagnostiseringen av förmaksflimmer.

• author: Engdal Höie, Line Marie and Persmark, Malva
• supervisor: Martin Stridh
• organization: Department of Biomedical Engineering
• alternative title: Simulering av screening-EKG-data för träning av ML-baserade detektorer för förmaksflimmer
• course: BMEM01 20241
• year: 2024
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• keywords: Atrial Fibrillation, Machine learning, Automated detection, AF detectors
• language: English
• additional info: 2024-15
• id: 9165498
• date added to LUP: 2024-06-24 12:43:10
• date last changed: 2024-06-24 12:43:10