Modeling and removing low-frequency disturbances in DCIP data
(2020) In LUTFMS-3386-2020 FMSM01 20192Mathematical Statistics
- Abstract
- Denoising and drift removal are important for improving the usability of the DCIP (Direct current resistivity and time-domain induced polarisation) method. This is useful because the need for detailed subsurface analysis increases with city construction and environmental projects. One issue with conducting DCIP measurements in urban areas is low-frequency drift from DC power (trains, trams, and power lines) and electrode self-polarisation.
In this work an algorithm that recreates the signal using frequency information is created. This is then used to remove a simulation of a low-frequency drift disturbance. The simulation is applied to signals from a comparatively noise-free dataset. The noise reduction is done by recreating the signal... (More) - Denoising and drift removal are important for improving the usability of the DCIP (Direct current resistivity and time-domain induced polarisation) method. This is useful because the need for detailed subsurface analysis increases with city construction and environmental projects. One issue with conducting DCIP measurements in urban areas is low-frequency drift from DC power (trains, trams, and power lines) and electrode self-polarisation.
In this work an algorithm that recreates the signal using frequency information is created. This is then used to remove a simulation of a low-frequency drift disturbance. The simulation is applied to signals from a comparatively noise-free dataset. The noise reduction is done by recreating the signal from periodogram information, creating an approximation of the input data.
The algorithm removes the simulated disturbance with a 90 percent decrease in the standard deviation of the point values when the simulated drift has a sufficiently high frequency (greater than $3.15e-05$).
For three sample signals from different datasets, the recreation algorithm gives different behaviour. While the signals measured at Lund Arena are noise-free enough to be consistently improved by recreation, the signals from Maglerud and Vinsta have less predictable results. The decrease for the Arena set, while consistent, is not as large as for the simulated data. These results suggest that a) the sinusoidal drift modeling is insufficient, or b) that this recreation algorithm is not suitable for these use cases. (Less) - Popular Abstract (Swedish)
- När geologer vill ta reda på hur marken är uppbyggd och vilka bergarter som finns kan det vara läge att borra ett hål. Men för stora geologiska undersökningar, där man vill kolla på stora markytor eftersom det ska grävas en tunnel eller byggas en väg, är det viktigt att kunna ta reda på hur marken ser ut överallt. Då är det smidigare att modellera markens egenskaper. Ett sätt att se igenom marken som använts länge är att skicka ner ström i marken och mäta hur stark den är efter att den gått igenom stenen, jorden eller berget. All information om elektriskt motstånd och uppladdning går sedan att jämföra med information från sten vi redan känner till.
Metoden har använts i över hundra år, men det finns en del problem med den. Ett problem... (More) - När geologer vill ta reda på hur marken är uppbyggd och vilka bergarter som finns kan det vara läge att borra ett hål. Men för stora geologiska undersökningar, där man vill kolla på stora markytor eftersom det ska grävas en tunnel eller byggas en väg, är det viktigt att kunna ta reda på hur marken ser ut överallt. Då är det smidigare att modellera markens egenskaper. Ett sätt att se igenom marken som använts länge är att skicka ner ström i marken och mäta hur stark den är efter att den gått igenom stenen, jorden eller berget. All information om elektriskt motstånd och uppladdning går sedan att jämföra med information från sten vi redan känner till.
Metoden har använts i över hundra år, men det finns en del problem med den. Ett problem är att mätningar av ström påverkas av annan ström som finns i omgivningen. Om det finns räls i närheten syns den strömfrekvens som tåget använder sig av, och finns det tunnelbana syns även den strömmen. Därför blir det snabbt mer omständligt att mäta på det här sättet när man mäter nära en stad. Ofta tar mätningarna flera dagar, och man planerar att mäta på nätterna när tåget och tunnelbanan inte går lika ofta.
Förutom störningar utifrån kan det också komma störningar från själva mätinstrumenten. Eftersom man gör många mätningar i följd kan det finnas lite ström kvar i instrumenten från tidigare mätningar, och det visar sig i mätningarna som en långsam förändring i bakgrunden.
Försöket går ut på att göra en enkel matematisk modell för hur den långsamma variationen ser ut, och lägga till den som bakgrunds\-störning i en relativt ''snygg'' mätning. Sen jämförs svårigheten i att ta bort låtsas\-störningen med hur det blir att ta bort en riktig störning.
I den här rapporten görs ett försök att bli av med den långsamma variationen genom att försöka bygga ihop signalen från början, utifrån information om vilka frekvenser som ingår. Om man vet ett par viktiga frekvenser, kan man sätta ihop vågor med de frekvenserna till en ungefärlig signal. Störningen försvinner då eftersom man inte väljer att ha med den frekvensen.
Först görs ett försök med att simulera en signal och sen bygga upp den utifrån sina frekvenser. Den simulerade signalen är en enkel graf, en så kallad fyrkantvåg, som den simulerade störningen läggs på. Målet är inte att se om det går att bygga upp exakt samma fyrkantvåg, utan bara att se till att de högsta och lägsta punkterna i grafen håller sig på samma nivå. Detta mäts med ett statistiskt mått som kallas standardavvikelse.
Sedan görs samma sak men med riktig data som grund. Det är en signal som är uppmätt vid ESS i Lund som utgör grunden, men samma simulerade störning läggs på. För både fyrkantvågen och ESS-signalen med störning blir resulatet bra. Dock är det lättare att återskapa signalen när frekvensen är snabbare än vad den är i verkligheten.
Sedan görs försök med riktiga signaler. Där är resultaten sämre, vilket visar att metoden med återskapning inte är tillräckligt bra för att användas i praktiken. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/9005571
- author
- Hallefjord, Helena LU
- supervisor
- organization
- course
- FMSM01 20192
- year
- 2020
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- DCIP, drift removal, low-frequency disturbance, frequency information
- publication/series
- LUTFMS-3386-2020
- report number
- 2020:E8
- ISSN
- 1404-6342
- language
- English
- id
- 9005571
- date added to LUP
- 2020-03-09 10:13:45
- date last changed
- 2020-10-05 13:17:33
@misc{9005571,
abstract = {{Denoising and drift removal are important for improving the usability of the DCIP (Direct current resistivity and time-domain induced polarisation) method. This is useful because the need for detailed subsurface analysis increases with city construction and environmental projects. One issue with conducting DCIP measurements in urban areas is low-frequency drift from DC power (trains, trams, and power lines) and electrode self-polarisation.
In this work an algorithm that recreates the signal using frequency information is created. This is then used to remove a simulation of a low-frequency drift disturbance. The simulation is applied to signals from a comparatively noise-free dataset. The noise reduction is done by recreating the signal from periodogram information, creating an approximation of the input data.
The algorithm removes the simulated disturbance with a 90 percent decrease in the standard deviation of the point values when the simulated drift has a sufficiently high frequency (greater than $3.15e-05$).
For three sample signals from different datasets, the recreation algorithm gives different behaviour. While the signals measured at Lund Arena are noise-free enough to be consistently improved by recreation, the signals from Maglerud and Vinsta have less predictable results. The decrease for the Arena set, while consistent, is not as large as for the simulated data. These results suggest that a) the sinusoidal drift modeling is insufficient, or b) that this recreation algorithm is not suitable for these use cases.}},
author = {{Hallefjord, Helena}},
issn = {{1404-6342}},
language = {{eng}},
note = {{Student Paper}},
series = {{LUTFMS-3386-2020}},
title = {{Modeling and removing low-frequency disturbances in DCIP data}},
year = {{2020}},
}