Qual é a distinção entre ergódico e estacionário?

42

Tenho dificuldade em distinguir entre esses dois conceitos. Este é o meu entendimento até agora.

Um processo estacionário é um processo estocástico cujas propriedades estatísticas não mudam com o tempo. Para um processo estacionário de sentido estrito, isso significa que sua distribuição de probabilidade conjunta é constante; para um processo estacionário de sentido amplo, isso significa que seus 1º e 2º momentos são constantes.

Um processo ergódico é aquele em que suas propriedades estatísticas, como variância, podem ser deduzidas de uma amostra suficientemente longa. Por exemplo, a média da amostra converge para a verdadeira média do sinal, se você tiver uma média de tempo suficiente.

Agora, parece-me que um sinal teria que ser estacionário, a fim de ser ergódico.

  • E que tipos de sinais poderiam ser estacionários, mas não ergódicos?
  • Se um sinal tem a mesma variação para todos os tempos, por exemplo, como a variação média do tempo pode não convergir para o valor verdadeiro?
  • Então, qual é a verdadeira distinção entre esses dois conceitos?
  • Você pode me dar um exemplo de um processo estacionário sem ser ergódico ou ergódico sem ser estacionário?
Matt
fonte
Você pode querer olhar para esta resposta para uma pergunta relacionada.
precisa saber é o seguinte
Esta palestra indica literalmente que ergódico é um subconjunto de estacionário. Eu simplesmente não consigo entender o que o artigo do Processo Ergódico Estacionário está fazendo na Wikipedia? Isso significa que existe um processo ergódico não estacionário?
Val
@ Val Não vou defender o que a Wikipedia diz, mas vou apontar que a última parte da minha resposta abaixo contém um exemplo de um processo WSS que não é estacionário e ainda é ergódico.
Dilip Sarwate

Respostas:

33

Um processo aleatório é uma coleção de variáveis ​​aleatórias, uma para cada instante em consideração. Normalmente, isso pode ser tempo contínuo ( ) ou tempo discreto (todos os números inteiros , ou todos os instantes de tempo onde é o intervalo da amostra). <t<nnTT

  • A estacionariedade refere-se às distribuições das variáveis ​​aleatórias. Especificamente, em um processo estacionário, todas as variáveis ​​aleatórias têm a mesma função de distribuição e, de maneira mais geral, para todo número inteiro positivo e instantes de tempo , a distribuição conjunta das variáveis ​​aleatórias é igual à distribuição conjunta de . Ou seja, se mudarmos todos os instantes de tempo por , a descrição estatística do processo não muda: o processo é estacionárionnt1,t2,,tn n X ( t 1 ) , X ( t 2 ) , , X ( t n ) X ( t 1 + τ ) , X ( t 2 + τ ) , , X ( t n + τ ) τnX(t1),X(t2),,X(tn)X(t1+τ),X(t2+τ),,X(tn+τ)τ.
  • A ergodicidade, por outro lado, não analisa as propriedades estatísticas das variáveis ​​aleatórias, mas os caminhos da amostra , ou seja, o que você observa fisicamente. Voltando às variáveis ​​aleatórias, lembre-se de que variáveis ​​aleatórias são mapeamentos de um espaço de amostra para os números reais; cada resultado é mapeado em um número real, e variáveis ​​aleatórias diferentes normalmente mapeiam qualquer resultado para números diferentes. Então, imagine que um pouco mais alto, como foi realizado, o experimento que resultou em um resultado no espaço da amostra, e esse resultado foi mapeado em números reais (normalmente diferentes) por todas as variáveis ​​aleatórias no processo: especificamente, o aleatório A variável mapeouωX(t)ωpara um número real, denotaremos como . Os números , considerados como forma de onda, são o caminho da amostra correspondente a , e diferentes resultados nos fornecerão diferentes caminhos da amostra. A ergodicidade então lida com as propriedades dos caminhos da amostra e como essas propriedades se relacionam com as propriedades das variáveis ​​aleatórias que compõem o processo aleatório.x(t)x ( t ) ω x(t)ω

Agora, para um caminho de amostra de um processo estacionário , podemos calcular a média de tempo mas, o que tem a ver com , a média do processo aleatório? (Observe que não importa qual valor de usamos; todas as variáveis ​​aleatórias têm a mesma distribuição e, portanto, a mesma média (se a média existir)). Como o OP diz, o valor médio ou o componente DC de um caminho de amostra converge para o valor médio do processo se o caminho da amostra for observado por tempo suficiente, desde que o processo seja ergódicox(t)ˉ x = 1

x¯=12TTTx(t)dt
x¯μ=E[X(t)]te estacionário, etc. Ou seja, a ergodicidade é o que nos permite conectar os resultados dos dois cálculos e afirmar que é igual a Um processo para o qual essa igualdade se mantém é considerado ergódico e um processo é ergódico se sua função de autocovariância tiver a propriedade:
limTx¯=limT12TTTx(t)dt

μ=E[X(t)]=ufX(u)du.
C X ( τ ) lim T 1CX(τ)
limT12TTTCX(τ)dτ=0.

Assim, nem todos os processos estacionários precisam ser ergódicos. Mas existem outras formas de ergodicidade também. Por exemplo, para um processo autocovariância-ergódico , a função de autocovariância de um segmento finito (digamos, para do caminho da amostra converge para a função de autocovariância do processo como . Uma declaração geral de que um processo é ergódico pode significar qualquer uma das várias formas ou um formato específico; não se pode dizer,t(T,T)x(t)CX(τ)T

Como exemplo da diferença entre os dois conceitos, suponha que para todos os em consideração. Aqui é uma variável aleatória. Este é um processo estacionário: cada tem a mesma distribuição (a distribuição de ), a mesma média , a mesma variação etc .; cada e têm a mesma distribuição conjunta (embora degenerada) e assim por diante. Mas o processo não é ergódico porque cada caminho de amostra é uma constante . Especificamente, se um teste do experimento (realizado por você ou por um ser superior) resultar emX(t)=YtYX(t)YE[X(t)]=E[Y]X(t1)X(t2)Y tendo o valor , o caminho da amostra do processo aleatório que corresponde a esse resultado experimental possui o valor para todos os , e o valor DC do caminho da amostra é , não , não importa quanto tempo você observe o caminho da amostra (bastante chato). Em um universo paralelo, o teste resultaria em e o caminho da amostra nesse universo teria valor para todos os . Não é fácil escrever especificações matemáticas para excluir essas trivialidades da classe de processos estacionários e, portanto, este é um exemplo muito mínimo de um processo aleatório estacionário que não é ergódico.ααtαE[X(t)]=E[Y]Y=ββt

Pode haver um processo aleatório que não é estacionário, mas é ergódico? Bem, N0 , não se por ergódico queremos dizer ergódico de todas as maneiras possíveis: por exemplo, se medirmos a fração de tempo durante a qual um segmento longo do caminho da amostra tem valor no máximo , essa é uma boa estimativa de , o valor do CDF (comum) dos em se o processo for semelhante ao ser ergódico em relação às funções de distribuição. Mas , nós pode ter processos aleatórios que sãox(t)αP(X(t)α)=FX(α)FXX(t)αnão estacionário, mas ainda assim é -ergódico médio e autocovariância -ergódico. Por exemplo, considere o processo que assume quatro valores igualmente prováveis e . Observe que cada é uma variável aleatória discreta que, em geral, assume quatro valores igualmente prováveis e , É fácil ver que, em geral, e{X(t):X(t)=cos(t+Θ),<t<}Θ0,π/2,π3π/2X(t)cos(t),cos(t+π/2)=sin(t),cos(t+π)=cos(t)cos(t+3π/2)=sin(t)X(t)X(s)têm distribuições diferentes e, portanto, o processo nem sequer é estacionário de primeira ordem. Por outro lado, para cada enquanto Em suma, o processo tem média zero e sua função de autocorrelação (e autocovariância) depende apenas da diferença de tempo e, portanto, o processo é

E[X(t)]=14cos(t)+14(sin(t))+14(cos(t))+14sin(t)=0
t
E[X(t)X(s)]=14[cos(t)cos(s)+(cos(t))(cos(s))+sin(t)sin(s)+(sin(t))(sin(s))]=12[cos(t)cos(s)+sin(t)sin(s)]=12cos(ts).
tssenso amplo estacionário. Mas não é estacionário de primeira ordem e, portanto, também não pode ser estacionário para ordens superiores. Agora, quando o experimento é realizado e o valor de é conhecido, obtemos a função de amostra que claramente deve ser uma das e que possuem o valor DC que é igual a e cuja função de autocorrelação é , igual a , e, portanto, esse processo é ergódico e ergódico de autocorrelação mesmo que não seja estacionário. Para finalizar, observo que o processo não é ergódico com relação à função de distribuiçãoΘ±cos(t)±sin(t)0012cos(τ)RX(τ)isto é, não se pode dizer que seja ergódico em todos os aspectos.

Dilip Sarwate
fonte
1
Eu não conseguia entender o exemplo. Se você diz que Y é uma constante, qualquer caminho de x (t) é uma constante. A média de uma constante é ela mesma, portanto, E [X (t)] = E [Y] = Y. A menos que eu tenha perdido alguma coisa.
Royi 18/01/12
Eu adicionei algumas palavras para esclarecer o significado. é uma variável aleatória, não uma constante. Seu valor em qualquer tentativa do experimento não precisa ser o mesmo que . YE[Y]
precisa saber é o seguinte
1
Se um sinal é ergódico, significando que a média de tempo converge para a média do conjunto, mas os vários têm meios diferentes porque o processo não é estacionário, qual é a definição da média do conjunto para a qual a média do tempo está convergindo? X
precisa saber é o seguinte
1
@ Matt Na solução do livro "sistemas de comunicação" Simão escreve Haykin que "para um processo aleatório para ser ergodic tem que ser parado"
Roney Ilha
1
@ColinHicks Sim, isso é um erro de digitação na minha resposta que corrigirei em breve. Obrigado por chamar minha atenção.
Dilip Sarwate 22/09
6

Vamos considerar um processo aleatório hipotético em que as funções de amostra são valores DC e são diferentes entre si:

X 1 (t) = constante = média de X 1 (t)

X 2 (t) = constante = média de X 2 (t)

A média temporal de e é constante, mas não é igual. se meu processo é estacionário, e são iguais e RVs (consulte a resposta de Dilip)X 2 ( t ) X ( t 1 ) X ( t 2 )X1(t)X2(t)X(t1)X(t2)

Portanto, a média do conjunto de é constante.X(t)

Essa média do conjunto certamente não é igual à média temporal de e (elas mesmas não são iguais). Isso pode ser chamado de um processo estacionário, mas não ergódico.X 2 ( t )X1(t)X2(t)

Por outro lado, onde é um RV é ergódico.θX(t)=Acos(ωt+θ)θ

Soumya
fonte
2

Espero que este vídeo (do Instituto de Tecnologia da Flórida. Intitulado "o que é staionary sentido amplo, sentido estrito, sinais ergódicas" pelo Dr. Ivica Kostanic em sua classe Teoria Communications) a partir de 16:55 poderia tirar suas dúvidas

user8162
fonte
Bem-vindo ao DSP.SE! Sugiro que você adicione o nome e algumas descrições ao vídeo, caso ele seja removido algum dia e o link seja inválido. Obrigado.
precisa saber é o seguinte
1

Um processo ergódico é um processo pelo qual você pode substituir a média ergódica pela média temporal.

A média real, variância, etc ... são definidas seguindo um processo ao longo do tempo e calculando a média, etc ... Por exemplo, se você quiser saber a média do meu tamanho, precisará calculá-la a partir de quando nasci para quando eu morrer. Obviamente, o exemplo posterior não é um processo estacionário.

A média ergódica seria se, em vez de seguir meu tamanho ao longo do tempo, você congelasse o tempo e medisse uma média de uma amostra de diferentes seres humanos. Não há razão para que esses dois meios sejam iguais, portanto o processo do meu tamanho não é ergódico.

Esse é um mau exemplo, mas fica mais importante se você considerar o caso simples de um gás em equilíbrio. Por exemplo, a velocidade quadrática média é anotada (média ao longo do tempo), mas é frequentemente calculada considerando a média do conjunto : a média da velocidade quadrada de todas as moléculas de o gás em um instante .V2tV2¯V2t

A maioria dos teoremas da termodinâmica requer o uso de , mas é mais fácil calcular e usar . A hipótese ergódica é a hipótese que afirma que é correto substituir uma pela outra. Um processo ergódico é um processo para o qual a hipótese ergódica é verdadeira.V2V2¯V2

A hipótese ergódica é falsa no caso geral.

Jean-Yves
fonte
1
Eu não entendo essa resposta. O processo do tamanho de Jolow não é estacionário nem ergódico, enquanto o OP estava se perguntando se pode haver um processo estacionário que não seja ergódico. A resposta é essencialmente que, em geral, a hipótese ergódica é falsa e é (universalmente) verdadeira que a média da amostra é diferente da média do conjunto, apenas se acostume e viva com ela?
Dilip Sarwate
@DilipSarwate: após reler, é uma resposta ruim que não responde à pergunta, e estou pensando em excluí-la. Eu estava lembrando meus termodinâmica palestras, enquanto que a pergunta era mais sobre as estatísticas ...
Jean-Yves
@DilipSarwate qual é o tamanho da Jolow?
Roney Island
1
@MichaelCorleone Não me lembro do significado da referência a Jolow. Meu palpite é que Jean-Yves postou sua resposta sob o nome de pluma Jolow e eu usei esse nome na minha resposta, e que desde então ele decidiu usar Jean-Yves como seu nome de usuário na stackexchange. Essas alterações de nome são refletidas no que é exibido na tela, mas não são registradas como uma edição da resposta.
precisa saber é o seguinte
@DilipSarwate: você está certo mesmo. Jolow é apenas meu apelido.
19412 Jean-Yves
1

Para um exemplo do caso oposto (ou seja, um processo aleatório que é ergódico, mas não estacionário), considere um processo de ruído branco modulado em amplitude por uma onda quadrada determinística. A média de tempo de cada função de amostra é igual a zero, assim como a média do conjunto ao longo do tempo. Portanto, o processo é ergódico. No entanto, a variação de qualquer função de amostra individual mostra a dependência original da onda quadrada no tempo, portanto o processo não é estacionário.

Este exemplo em particular é estacionário de senso amplo, mas pode-se inventar exemplos relacionados que ainda são ergódicos, mas nem mesmo estacionários de senso amplo.

Prof Mark
fonte
0

como eu entendo, o exemplo abaixo mostra um processo ergódico e estacionário

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

média 2 2 2 var 1

porque a média e a variação de cada coluna são constantes ao longo do tempo e a média e a variação de cada linha são constantes ao longo do tempo

TPArrow
fonte