Qual é a diferença entre distribuições "limitadoras" e "estacionárias"?

21

Estou fazendo uma pergunta sobre cadeias de Markov e as duas últimas partes dizem o seguinte:

  • Essa cadeia de Markov possui uma distribuição limitadora. Se sua resposta for "sim", encontre a distribuição limitadora. Se sua resposta for "não", explique o motivo.
  • Essa cadeia de Markov possui uma distribuição estacionária. Se sua resposta for "sim", encontre a distribuição estacionária. Se sua resposta for "não", explique o motivo.

Qual é a diferença? Anteriormente, eu pensei que a distribuição limitadora era quando você trabalha usando P=CAnC1 mas esta é a matriz de transição do 'ésimo passo. Eles calcularam a distribuição limitadora usando , que eu pensei que fosse a distribuição estacionária.nΠ=ΠP

Qual é qual então?

Kaish
fonte
4
Seu livro pode estar fazendo uma distinção que não é universal: por exemplo, as anotações de Karl Sigman sobre limitar distribuições definem distribuições "limitadoras" e "estacionárias" como sinônimos (definição 2.3 na parte inferior da p. 5). Portanto, você deve consultar as definições em seu livro para determinar a diferença.
whuber
@whuber Está dizendo algo como trabalhar com limnPii(n) isso não existe. Em seguida, ele passa a dizer "embora a distribuição limitante não existe, o estacionário faz. Let Π=(π0,π1,...,πn) ser a distribuição estacionária ...." Mas eu garanto Para calcular a distribuição limitadora da pergunta anterior, eles resolveram a questão dessa maneira. Isso faz sentido para você?
Kaish
@whuber Na verdade, estou bastante confuso agora, porque na questão da distribuição limitadora anterior, eles não satisfazem a igualdade , então talvez isso seja diferente? π0+π1+π2=1
Kaish
2
Uma distribuição estacionária é aquela que é estável ao longo do tempo. Tanto quanto sei, a distribuição limitadora de uma cadeia de Markov é estacionária e, se uma cadeia de Markov tem uma distribuição estacionária, também é uma distribuição limitadora.
Shadowtalker
Responda aqui por Andreas pode ajudar quora.com/…
Siddharth Shakya

Respostas:

18

De uma introdução à modelagem estocástica de Pinsky e Karlin (2011):

Uma distribuição limitadora, quando existe, é sempre uma distribuição estacionária, mas o inverso não é verdadeiro. Pode haver uma distribuição estacionária, mas nenhuma distribuição limitadora. Por exemplo, não há distribuição limitadora para a cadeia periódica de Markov cuja matriz de probabilidade de transição é mas π = ( 1

P=0110
é uma distribuição estacionária, pois (1π=(12,12)(p. 205).
(12,12)0110=(12,12)

Em uma seção anterior, eles já haviam definido uma " distribuição de probabilidade limitadora " porπ

limnPij(n)=πj for j=0,1,,N

e equivalentemente

(p. 165).

limnPr{Xn=j|X0=i}=πj>0 for j=0,1,,N

O exemplo acima oscila deterministicamente e, portanto, falha em ter um limite da mesma maneira que a sequência falha em ter um limite.{1,0,1,0,1,}


Eles afirmam que uma cadeia de Markov regular (na qual todas as probabilidades de transição em n etapas são positivas) sempre tem uma distribuição limitadora e provam que deve ser a solução não-negativa única para

(p. 168)

πj=k=0NπkPkj,  j=0,1,,N,k=0Nπk=1

Em seguida, na mesma página do exemplo, eles escrevem

Qualquer conjunto satisfazendo (4,27) é chamado uma distribuição de probabilidades estacionárias da cadeia de Markov. O termo "estacionário" deriva da propriedade que uma cadeia de Markov iniciada de acordo com uma distribuição estacionária seguirá essa distribuição em todos os momentos. Formalmente, se Pr { X 0 = i } = π i , então Pr { X n = i } = π i para todos n = 1 , 2 ,(πi)i=0Pr{X0=i}=πiPr{Xn=i}=πi .n=1,2,

onde (4.27) é o conjunto de equações

πi0,i=0πi=1, and πj=i=0πiPij.

que é precisamente a mesma condição de estacionariedade acima, exceto agora com um número infinito de estados.

Com esta definição de estacionariedade, a declaração na página 168 pode ser retroativamente atualizada como:

  1. A distribuição limitadora de uma cadeia regular de Markov é uma distribuição estacionária.
  2. Se a distribuição limitadora de uma cadeia de Markov é uma distribuição estacionária, a distribuição estacionária é única.
shadowtalker
fonte
Você pode esclarecer o que quer dizer com 'probabilidades de transição não mudam ao longo do tempo' para estacionariedade? Tanto a distribuição limitadora quanto a estacionária são sobre as probabilidades dos estados.
Juho Kokkala
1
Sim, vejo que você escreveu sua própria resposta, mas reorganizei a minha para ser mais correta.
Shadowtalker
Eu ainda não entendi. Quero dizer, o que você quer dizer quando diz "exceto agora com um número infinito de estados ...."? Você pode esclarecer isso de forma mais explícita.
roni 14/07
@roni as duas expressões são idênticas se você deixá- N=
shadowtalker
π=(1/2,1/2)Pn
12

πkπk+1π

π=πP.
ππ
limkπ(0)Pk=π,
independent of π(0). For example, let us consider a Markov chain whose two states are the sides of a coin, {heads,tails}. Each step consists of turning the coin upside down (with probability 1). Note that when we compute the state distributions, they are not conditional on previous steps, i.e., the guy who computes the probabilities does not see the coin. So, the transition matrix is
P=(0110).
If we first initialize the coin by flipping it randomly (π(0)=(0.50.5)), then also all subsequent time steps follow this distribution. (If you flip a fair coin, and then turn it upside down, the probability of heads is still 0.5). Thus, (0.50.5) is a stationary distribution for this Markov chain.

However, this chain does not have a limiting distribution: suppose we initialize the coin so that it is heads with probability 2/3. Then, as all subsequent states are determined by the initial state, after an even number of steps, the state is heads with probability 2/3 and after an odd number of steps the state is heads with probability 1/3. This holds no matter how many steps are taken, thus the distribution over states has no limit.

Now, let us modify the process so that at each step, one does not necessarily turn the coin. Instead, one throws a die, and if the result is 6, the coin is left as is. This Markov chain has transition matrix

P=(1/65/65/61/6).
Without going over the math, I will point out that this process will 'forget' the initial state due to randomly omitting the turn. After a huge amount of steps, the probability of heads will be close to 0.5, even if we know how the coin was initialized. Thus, this chain has the limiting distribution (0.50.5).
Juho Kokkala
fonte
Good point about forgetting the initial state, I completely glossed over this in my answer.
shadowtalker
This explanation helps me understand a lot. Can I say the existence of a steady state is equivalent to the existence of a limiting distribution? Since it is not easy to calculate the limiting distribution, we often calculate the stationary distribution by solving balance equations instead. However, I thought this alternative method doesn't guarantee that the stationary distribution is independent from initial states, therefore, it explains why for P=(0110), it has the stationary distribution but no steady state that is independent from the initial states.
Guoyang Qin
@GuoyangQin If you have a new question, you may wish to post it as a question (linking to this one if it helps provide question). Although I would have thought "steady state" in this context would mean "stationary distribution" so it would be best to clearly define the term in the question
Juho Kokkala
10

Putting notation aside, the word "stationary" means "once you get there, you will stay there"; while the word "limiting" implies "you will eventually get there if you go far enough". Just thought this might be helpful.

BlueSky
fonte
It isn't clear how this applies to the question. Could you explain?
whuber
2
Hi @whuber, I mean to say that a limiting distribution is necessarily a stationary distribution while a stationary distribution is not necessarily a limiting distribution. Hence there is a difference. This is essentially the same as other answers but I think it's easier to remember.
BlueSky
Obrigado pelo esclarecimento: ele nos mostra o que você está tentando realizar. No entanto, não consigo encontrar uma maneira razoável de interpretar sua descrição de "estacionário" de maneira consistente com a definição matemática.
whuber
@whuber BlueSky's phrasing seems like an extremely straightforward plain English notion of "fixed point" to me -- I'm not sure what your object could mean.
Richard Rast