Como você vê uma cadeia de Markov ser irredutível?

Tenho alguns problemas para entender a propriedade da cadeia de Markov irredutível .

Diz-se que irredutível significa que o processo estocástico pode "ir de qualquer estado para qualquer estado".

Mas o que define se ele pode passar do estado para o estado ou não pode ir?$i$$j$

---

A página da wikipedia fornece a formalização:

Estado é acessível (escrito ) do estado , se existe inteiro st $j$i n i j > 0 P ( X n i j = j | X 0 = i ) = p ( n i j ) i j > $i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

então a comunicação é se e .j → $i\rightarrow j$$j \rightarrow i$

A partir destes irredutibilidade segue de alguma forma.

Aqui estão três exemplos de matrizes de transição, os dois primeiros para o caso redutível, o último para o caso irredutível.

P

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ Para , quando você estiver no estado 3 ou 4, você permanecerá lá e o o mesmo para os estados 1 e 2. Não há como passar do estado 1 para o estado 3 ou 4, por exemplo.$P_1$

Para , você pode chegar a qualquer estado dos estados 1 a 3, mas quando estiver no estado 4, permanecerá lá. Para isso Por exemplo, você pode iniciar em qualquer estado e ainda pode alcançar qualquer outro estado, embora não necessariamente em uma etapa.P 3 = ( 0,5 0,5 0 0 0 0 0,9 0 0 0 0 0,1 0 $P_2$

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$

Diz-se que o estado é acessível a partir de um estado (geralmente indicado por ) se houver tal que: Ou seja, pode-se ir do estado ao estado em passos com probabilidade .i i → j n ≥ 0 p $j$$i$$i \to j$$n\geq 0$

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ $i$$j$$n$$p^n_{ij}$

Se ambos e são verdadeiras, então os estados e comunicam (geralmente denotada por ). Portanto, a cadeia de Markov é irredutível se cada dois estados se comunicar.j → i i $i\to j$$j\to i$$i$$j$$i\leftrightarrow j$

Seja e dois estados distintos de uma cadeia de Markov. Se houver alguma probabilidade positiva de o processo passar do estado para o estado , seja qual for o número de etapas (digamos 1, 2, 3 ), então dizemos que o estado é acessível a partir do estado .$i$$j$$i$$j$$\cdots$$j$$i$

Notadamente, expressamos isso como . Em termos de probabilidade, é expresso da seguinte forma: um estado é acessível a partir do estado , se existir um número inteiro tal que .j i m > 0 $i\rightarrow j$$j$$i$$m>0$$p_{ij}^{(m)}>0$

Da mesma forma, dizemos que, , se existe um número inteiro tal que .n > 0 $j\rightarrow i$$n>0$$p_{ji}^{(n)}>0$

Agora, se e são verdadeiros, dizemos que os estados e comunicam entre si e são expressos de forma como . Em termos de probabilidade, isso significa que existem dois inteiros modo que e . j → $i\rightarrow j$$j\rightarrow i$$i$$j$$i \leftrightarrow j$p ( m ) i j > 0 p ( n ) j i > $m>0,\;\; n>0$$p_{ij}^{(m)}>0$$p_{ji}^{(n)}>0$

Se todos os estados da cadeia de Markov pertencem a uma classe de comunicação fechada , a cadeia é chamada de cadeia de Markov irredutível . A irredutibilidade é uma propriedade da cadeia.

Em uma cadeia de Markov irredutível, o processo pode ir de qualquer estado para qualquer estado , independentemente do número de etapas necessárias.

Algumas das respostas existentes parecem estar incorretas para mim.

Como citado em Processos estocásticos por J. Medhi (página 79, edição 4), uma cadeia de Markov é irredutível se não contiver nenhum subconjunto 'fechado' apropriado que não seja o espaço de estado.

Portanto, se em sua matriz de probabilidade de transição, existe um subconjunto de estados que você não pode 'alcançar' (ou acessar) outros estados além desses, a cadeia de Markov é redutível. Caso contrário, a cadeia de Markov é irredutível.

Primeiro, uma palavra de aviso: nunca olhe para uma matriz, a menos que você tenha uma razão séria para fazê-lo: a única em que consigo pensar é procurar dígitos digitados incorretamente ou ler em um livro didático.

$P$$\exp(P)$$P$$P^n$$n$

Irredutibilidade significa: você pode ir de qualquer estado para qualquer outro estado em um número finito de etapas.

$P_3$