Estimativa de máxima verossimilhança na presença de ruído colorido

Estou tentando testar a identificação do sistema na presença de ruído de medição (1) Um ruído gaussiano branco (2) Ruído colorido - rosa, violeta. Quando estimamos parâmetros, fazemos isso na presença de iid, zero significa ruído não correlacionado.

Q1: Gostaria de saber se o ruído colorido está correlacionado ou não. Eu acho que eles têm distribuição diferente, mas não consegui encontrar nenhuma informação se as amostras serão correlacionadas ou não.

Q2: Na estimativa, assumimos que o ruído é um ruído gaussiano branco aditivo que é iid não correlacionado. O que acontece quando o ruído não é gaussiano, como estimamos teta? Por exemplo:$x = s(\theta) + Colored noise$ onde estamos tentando estimar $\theta$. O desempenho, ou seja, o MSE varia com os diferentes níveis de ruído colorido e não colorido?

Amostras de ruído colorido (obtidas em momentos diferentes) geralmente são variáveis ​​aleatórias correlacionadas porque a função de autocorrelação do processo de ruído não é uma função delta, como no caso do ruído branco. Assim, se assumirmos um processo de média zero (geralmente se supõe que o ruído seja independente de sua cor), a covariância de dois sinais separados no tempo por$\tau$ segundos é $R(\tau)$ Onde $R(t) = \mathcal F^{-1}(S(f)$é a função de autocorrelação do processo (transformada inversa de Fourier da densidade espectral de potência). Note que isso é possível para$R(t)$para zero para alguns valores de$t$ (por exemplo: $R(t) = \operatorname{sinc}(t)$é uma função de autocorrelação válido), mas não pode ser zero para todos diferente de zero$t$.

Quanto à função de densidade de qualquer amostra, se o processo for gaussiano, a amostra é gaussiana, mesmo que o processo tenha sido filtrado com um filtro linear antes da amostragem. Mas se o processo não é gaussiano (digamos, LaPlacian), então, embora cada amostra seja LaPlacian, o mesmo não pode ser dito geralmente sobre amostras do processo após a filtragem de qualquer tipo. Em outras palavras, o Gaussianity sobrevive à filtragem linear, o LaPlacism geralmente não.

---

Então, como funciona a estimativa de probabilidade máxima quando as amostras têm ruído correlacionado? Considere o caso em que desejamos estimar a média desconhecida de um$\mathcal N(\mu, 1)$ variável aleatória e temos duas observações $x$ e $y$. No caso padrão de observações independentes, a função de probabilidade é

$$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$$ O estimador de máxima verossimilhança para $\mu$ é o número $\hat{\mu}$ que maximiza $L(\mu)$, que funciona como o número $\hat{\mu}$ que minimiza $(x-\mu)^2+(y-\mu)^2$. Este é um quadrático em$\mu$ e a estimativa de máxima verossimilhança acaba sendo $\hat{\mu}=\frac{x+y}{2}$. Quando as observações estão correlacionadas com o coeficiente de correlação$\rho$, então $$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$$ Mais uma vez, precisamos encontrar o $\hat{\mu}$ Onde $(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$tem um mínimo. Ainda temos um quadrático em$\mu$ mas agora temos termos como $xy$nos coeficientes. o que$\hat{\mu}$ funciona para ser deixado para você trabalhar.

---

E se tivermos $n$ observações onde $n > 2$? Todas as opções acima ainda se aplicam. Para ruído gaussiano de distribuição idêntica independente nas amostras, a média da amostra $n^{-1}\sum_i x_i$ é a estimativa de probabilidade máxima de $\mu$ mas no caso de variáveis ​​aleatórias gaussianas correlacionadas, temos problemas de minimização muito confusos, porque o quadrático que estamos tentando minimizar depende do inverso da matriz de covariância e o resultado é uma função não linear dos dados em vez de uma simples tarefa fácil de lembre-se do resultado como a média da amostra.

---

E se o barulho não for gaussiano? Os mesmos princípios se aplicam - configure a função de verossimilhança e descubra onde ela atinge seu valor máximo - mas os cálculos são um pouco diferentes, tudo dependendo do que você assume ou sabe que é a densidade conjunta das observações.