A eficácia de um filtro mediano dependeria do tipo de ruído. O ruído com um valor mediano de 0, por exemplo, ruído gaussiano aditivo branco (AWGN) seria muito bem eliminado, com amostras suficientes. Se o ruído for alguma outra forma de interferência (desbotamento de caminhos múltiplos), um filtro mediano não ajudará realmente.
Nick T
Respostas:
13
Intuição: a intuição é a seguinte: seu ruído é um evento ou eventos raros, e que, quando comparados a outros eventos, parecem discrepantes que realmente não deveriam estar lá.
Por exemplo, se você estiver medindo as velocidades de todos os carros na rodovia enquanto eles passam por você e plotá-los, verá que eles geralmente estão no intervalo, por exemplo, de a mph. No entanto, ao inspecionar seus dados para seu chefe, você vê uma velocidade de mph. Esse valor não apenas não faz sentido físico para a velocidade de um carro real em uma rodovia, mas também se destaca muito do restante dos seus dados. Atribuindo esse evento a algum erro de medição estranho, você o remove e fornece o restante dos dados ao seu chefe.50.701 , 000 , 000
No entanto, ao continuar suas medições dia após dia, você percebe que, de vez em quando, obtém essas medições selvagens da velocidade. Por exemplo, ao longo de 1 hora, você mede 1000 carros e suas velocidades variam muito entre50. e 70 mph, no entanto, 3 deles têm velocidades de 23 , 424 mph, 12 , 000 , 121 mph e 192 , 212 , 121 , 329 , 982 , 321 , 912 mph, quebrando não apenas as leis estaduais locais, mas também as da física teórica.
Você se cansa de ter que entrar continuamente e remove os dados errados causados pelo seu radar barato à mão. Afinal, seu chefe está realmente interessado apenas nas estatísticas das velocidades, e não em todos os valores reais. Ele gosta de fazer bons histogramas para seus chefes.
Esses números grandes e errantes são uma espécie de "ruído" que você considera - "ruído" causado pelo seu radar barato que você comprou de uma loja de penhores com sombra. O ruído é aditivo ao ruído gaussiano branco? (AWGN). Sim e não - seu espectro é de banda larga e branco, mas é temporalmente raro, escasso e muito localizado. É mais conhecido como ruído de "sal e pimenta" (especialmente no domínio do processamento de imagens).
Assim, o que você pode fazer é executar seus dados através de um filtro mediano . Seu filtro mediano terá um bloco de dizer,5pontos de velocidade (pontos 1 a 5), encontre a mediana e cuspa esse valor como a velocidade 'média'. Em seguida, serão necessários os próximos 5 pontos (pontos 2 a 6), a mediana e cuspidos como a média, etc.
O que acontece quando você se depara com uma das velocidades mais rápidas que a luz? Digamos que suas 5 velocidades foram [45, 65, 50, 999999, 75]. Se você tomou a média normal, sua velocidade 'média' aqui será algo bastante grande. No entanto, se você tomar a mediana, sua 'média' será 65. Qual melhor se aproxima da média que você realmente está tentando medir? A métrica mediana.
Portanto, se você filtrar seus dados com um filtro mediano, removerá esses valores discrepantes - e, dessa forma, desmarcará fielmente seu sinal. Por outro lado, se você tentou remover seu ruído por meio da filtragem tradicional (nada além de uma soma ponderada em movimento), em vez disso, `` difunde '' o erro nos dados e não se livra dele.
Matemática: A matemática é a seguinte: a medida mediana é o que é chamado de estatística de ordem . Ou seja, ele retorna o valor dos seus dados, em algum momento, depois que eles foram solicitados. O máximo e o mínimo também são estatísticas de pedidos - eles retornam os pontos extremos dos seus dados depois que eles foram solicitados. A mediana também retorna o valor dos dados solicitados, mas diretamente do meio.
Mas por que eles são diferentes dos filtros médios? Bem, os filtros médios calculam uma média usando todos os dados. Se você notar no máximo, no mínimo e na mediana, está recebendo uma resposta sem usar todos os dados. De fato, tudo o que a mediana faz é solicitar seus dados e escolher o valor no meio. Ele nunca 'toca' os valores extremos, como aquelas grandes velocidades que você mediu.
É por isso que a mediana - uma estatística de pedido - é capaz de 'remover' o ruído externo. O ruído externo segrega em frente à mediana, e a mediana nunca chega perto ou a considera, enquanto fornece uma boa estimativa da tendência central.
Assumindo variáveis aleatórias independentes com distribuições normais, a probabilidade de um valor cair além de, digamos, 2 desvios-padrão será de cerca de 0,01.
Se você tiver um filtro mediano de largura 3, esse trigêmeo deverá conter dois valores discrepantes no mesmo lado da média para que um valor discrepante seja detectado. Este evento tem uma probabilidade de2 ⋅0,0052= 0,00005.
À medida que o filtro mediano aumenta em largura, a probabilidade de um erro externo ultrapassar diminui exponencialmente.
Respostas:
Intuição: a intuição é a seguinte: seu ruído é um evento ou eventos raros, e que, quando comparados a outros eventos, parecem discrepantes que realmente não deveriam estar lá.
Por exemplo, se você estiver medindo as velocidades de todos os carros na rodovia enquanto eles passam por você e plotá-los, verá que eles geralmente estão no intervalo, por exemplo, de a mph. No entanto, ao inspecionar seus dados para seu chefe, você vê uma velocidade de mph. Esse valor não apenas não faz sentido físico para a velocidade de um carro real em uma rodovia, mas também se destaca muito do restante dos seus dados. Atribuindo esse evento a algum erro de medição estranho, você o remove e fornece o restante dos dados ao seu chefe.50. 70 1 , 000 , 000
No entanto, ao continuar suas medições dia após dia, você percebe que, de vez em quando, obtém essas medições selvagens da velocidade. Por exemplo, ao longo de 1 hora, você mede 1000 carros e suas velocidades variam muito entre50. e 70 mph, no entanto, 3 deles têm velocidades de 23 , 424 mph, 12 , 000 , 121 mph e 192 , 212 , 121 , 329 , 982 , 321 , 912 mph, quebrando não apenas as leis estaduais locais, mas também as da física teórica.
Você se cansa de ter que entrar continuamente e remove os dados errados causados pelo seu radar barato à mão. Afinal, seu chefe está realmente interessado apenas nas estatísticas das velocidades, e não em todos os valores reais. Ele gosta de fazer bons histogramas para seus chefes.
Esses números grandes e errantes são uma espécie de "ruído" que você considera - "ruído" causado pelo seu radar barato que você comprou de uma loja de penhores com sombra. O ruído é aditivo ao ruído gaussiano branco? (AWGN). Sim e não - seu espectro é de banda larga e branco, mas é temporalmente raro, escasso e muito localizado. É mais conhecido como ruído de "sal e pimenta" (especialmente no domínio do processamento de imagens).
Assim, o que você pode fazer é executar seus dados através de um filtro mediano . Seu filtro mediano terá um bloco de dizer,5 pontos de velocidade (pontos 1 a 5), encontre a mediana e cuspa esse valor como a velocidade 'média'. Em seguida, serão necessários os próximos 5 pontos (pontos 2 a 6), a mediana e cuspidos como a média, etc.
O que acontece quando você se depara com uma das velocidades mais rápidas que a luz? Digamos que suas 5 velocidades foram [45, 65, 50, 999999, 75]. Se você tomou a média normal, sua velocidade 'média' aqui será algo bastante grande. No entanto, se você tomar a mediana, sua 'média' será 65. Qual melhor se aproxima da média que você realmente está tentando medir? A métrica mediana.
Portanto, se você filtrar seus dados com um filtro mediano, removerá esses valores discrepantes - e, dessa forma, desmarcará fielmente seu sinal. Por outro lado, se você tentou remover seu ruído por meio da filtragem tradicional (nada além de uma soma ponderada em movimento), em vez disso, `` difunde '' o erro nos dados e não se livra dele.
Matemática: A matemática é a seguinte: a medida mediana é o que é chamado de estatística de ordem . Ou seja, ele retorna o valor dos seus dados, em algum momento, depois que eles foram solicitados. O máximo e o mínimo também são estatísticas de pedidos - eles retornam os pontos extremos dos seus dados depois que eles foram solicitados. A mediana também retorna o valor dos dados solicitados, mas diretamente do meio.
Mas por que eles são diferentes dos filtros médios? Bem, os filtros médios calculam uma média usando todos os dados. Se você notar no máximo, no mínimo e na mediana, está recebendo uma resposta sem usar todos os dados. De fato, tudo o que a mediana faz é solicitar seus dados e escolher o valor no meio. Ele nunca 'toca' os valores extremos, como aquelas grandes velocidades que você mediu.
É por isso que a mediana - uma estatística de pedido - é capaz de 'remover' o ruído externo. O ruído externo segrega em frente à mediana, e a mediana nunca chega perto ou a considera, enquanto fornece uma boa estimativa da tendência central.
fonte
Assumindo variáveis aleatórias independentes com distribuições normais, a probabilidade de um valor cair além de, digamos, 2 desvios-padrão será de cerca de 0,01.
Se você tiver um filtro mediano de largura 3, esse trigêmeo deverá conter dois valores discrepantes no mesmo lado da média para que um valor discrepante seja detectado. Este evento tem uma probabilidade de2 ⋅0,0052= 0,00005.
À medida que o filtro mediano aumenta em largura, a probabilidade de um erro externo ultrapassar diminui exponencialmente.
fonte