Uso duvidoso dos princípios de processamento de sinal para identificar uma tendência

10

Estou propondo tentar encontrar uma tendência em alguns dados de longo prazo muito barulhentos. Os dados são basicamente medições semanais de algo que se moveu cerca de 5 mm durante um período de cerca de 8 meses. Os dados são de 1mm de precisão e são muito barulhentos mudando regularmente +/- 1 ou 2mm em uma semana. Temos apenas os dados no mm mais próximo.

Planejamos usar algum processamento básico de sinal com uma transformação rápida de Fourier para separar o ruído dos dados brutos. A suposição básica é que, se espelharmos nosso conjunto de dados e o adicionarmos ao final de nosso conjunto de dados existente, podemos criar um comprimento de onda completo dos dados e, portanto, nossos dados aparecerão em uma rápida transformação de quatro camadas e, esperançosamente, poderemos separá-lo .

Dado que isso me parece um pouco duvidoso, vale a pena purificar esse método ou é o método de espelhar e anexar nosso conjunto de dados de alguma forma fundamentalmente defeituoso? Estamos analisando outras abordagens, como o uso de um filtro passa-baixo também.

Ian Turner
fonte
E a transformada lenta (padrão) de Fourier.
Essas medidas de movimento da placa são diferencialmente corrigidas pelo GPS, por acaso?
whuber
Na verdade, eram movimentos de um túnel enquanto o trabalho de construção acontecia em torno dele. Esperávamos que o movimento seguisse muito aproximadamente uma curva S durante o período de monitoramento.
Ian Turner

Respostas:

9

Parece desonesto para mim, pois a estimativa de tendência será tendenciosa perto do ponto em que você divide os dados falsos. Uma abordagem alternativa é uma regressão não paramétrica mais suave, como loess ou splines.

Rob Hyndman
fonte
8

Se você deseja filtrar a tendência de longo prazo usando o processamento de sinais, por que não usar apenas um passa-baixo?

A coisa mais simples que consigo pensar seria uma média móvel exponencial.

James Roth
fonte
Nós demos uma olhada nisso. Funcionou bem, mas, neste caso, o ruído ainda parecia um pouco forte demais e, se alterássemos os parâmetros para uniformizar as distribuições, parecia que a tendência havia diminuído muito. Talvez neste caso simplesmente não exista solução para os dados e seja um pouco barulhento.
Ian Turner
11
As médias móveis exponencialmente ponderadas são um caso especial de um kernel mais suave (assumindo que você usou um MA de 2 lados em vez de um lado). Melhores estimativas que são generalizações disso são loess ou splines - veja minha resposta.
Rob Hyndman
7

Eu acho que você pode obter alguma distorção no ponto de colagem, pois nem todas as ondas subjacentes se conectam muito bem.

Eu sugeriria usar uma transformação de Hilbert Huang para isso. Basta dividir as funções no modo intrínseco e ver o que resta como resíduo ao calculá-las.

Peter Smit
fonte
7

Você pode usar a transformação de wavelet discreta (rápida :)) . O pacote wavethresh sob R fará todo o trabalho. Enfim, eu gosto da solução do @James porque é simples e parece ir direto ao ponto.

Robin Girard
fonte
Acordado; as wavelets são excelentes para detectar comportamentos não estacionários em grandes quantidades de ruído. Você precisa ter cuidado com o DWT, no entanto. Não é invariável à rotação (embora existam modificações no DWT, veja, por exemplo, Percival e Walden 2000), para que você possa perder transientes nítidos, dependendo do ponto de partida dos seus dados. Além disso, a maioria das implementações do DWT faz circularização implícita dos dados, portanto você ainda precisa controlar isso.
Rich
Se minha memória estiver boa, o pacote wavethresh contém tradução invariável (minha referência foi Coifman 1995) (Observe que você falou sobre rotação, não estamos falando de sinais temporais?).
226106 robin girard # 039
você está falando sobre MODWT (transformação de wavelet discreta de sobreposição máxima)?
RockScience
@fRed: nop, aqui está o artigo, Coifman e Donoho: citeseerx.ist.psu.edu/viewdoc/…
robin girard
4

Na maioria das vezes, quando ouço "tendência de longo prazo", penso em tendências ascendentes ou descendentes de longo prazo , nenhuma das quais é capturada adequadamente por uma transformação de Fourier. Essas tendências de mão única são melhor analisadas usando regressão linear . (Transformadas de Fourier e periodogramas são mais apropriados para coisas que sobem e descem).

A regressão linear é fácil de fazer na maioria das planilhas. (a) Exibir equações para linhas de regressão (b) Criando gráficos de dispersão XY com planilhas

A regressão linear tenta aproximar seus dados com uma linha reta. As transformações de Fourier tentam aproximar seus dados com algumas ondas senoidais adicionadas. Existem outras técnicas ("regressão não linear") que tentam aproximar seus dados a polinômios ou outras formas.

David Cary
fonte
2

A transformada de Fourier assume a estacionariedade do sinal de sentido amplo e a invariância linear do tempo (LTI). Embora seja robusto a alguma violação dessas condições, eu realmente não acho apropriado para a análise de tendências devido à suposição de estacionariedade, ou seja, você está tentando medir algo que viola uma das suposições básicas da FFT.

Eu concordo com os pôsteres acima; espelhar seus dados e adicionar os dados espelhados ao final de suas séries temporais é desonesto. Eu sugeriria que ajustar um modelo de regressão linear com uma tendência temporal como mencionado acima é provavelmente mais apropriado.

Se você estivesse procurando examinar a periodicidade, poderia remover a tendência filtrando com alta frequência e realizando uma análise de Fourier. Se a tendência permanecer visível após a filtragem, você poderá subtrair uma linha de regressão linear ajustada do sinal original antes da FFT.

BGreene
fonte