Estimando probabilidades de transição de Markov a partir de dados de sequência

Eu tenho um conjunto completo de seqüências (432 observações para ser mais preciso) de 4 estados : por exemplo $A-D$

Y = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & - & - \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & A \end{array})

$Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right)$

EDITAR : As sequências de observação são de tamanhos desiguais! Isso muda alguma coisa?

Existe uma maneira de calcular a matriz de transição

P_{i j} (Y_{t} = j | Y_{t - 1} = i)

$P_{ij}(Y_{t}=j|Y_{t-1}=i)$ no Matlab ou R ou similar? Eu acho que o pacote HMM pode ajudar. Alguma ideia?

por exemplo: Estimando probabilidades da cadeia de Markov

r matlab markov-process HCAI
fonte

Você tem

estados:

. Seja

o número de vezes que a cadeia fez uma transição do estado

para o estado

, para

. Calcule o

4

$4$

S = {1 := A, 2 := B, 3 := C, 4 := D}

$S=\{1:=A,2:=B,3:=C,4:=D\}$

n_{i j}

$n_{ij}$

i

$i$

j

$j$

i j, = 1, 2, 3, 4

$ij,=1,2,3,4$

n_{i j}

$n_{ij}$ 's a partir de sua amostra e estimar a matriz de transição

por máxima verosimilhança usando as estimativas

(p_{i j})

$(p_{ij})$

{\hat{p}}_{i j} = n_{i j} / \sum_{j = 1}^{4} n_{i j}

$\hat{p}_{ij}=n_{ij}/\sum_{j=1}^4 n_{ij}$

Zen

Estas notas derivam as estimativas do MLE: stat.cmu.edu/~cshalizi/462/lectures/06/markov-mle.pdf

Zen

Pergunta semelhante: stats.stackexchange.com/questions/26722/…

B_Miner

@B_Miner, você poderia escrever seu código em forma de pseudo-código para mim? Ou explique-o em termos leigos ... No entanto, vejo que funciona no meu console R.

HCAI 11/09/12

Eu tenho uma pergunta: eu entendo sua implementação e ela parece muito bem para mim, mas eu queria saber por que não posso simplesmente usar a função hmmestimate do Matlab para calcular a matriz T? Algo como: states = [1,2,3,4] [T, E] = hmmestimate (x, states); onde T é a matriz de transição em que estou interessado. Sou novo nas cadeias de Markov e no HMM, então gostaria de entender a diferença entre as duas implementações (se houver alguma).

Qualquer

Respostas:

Por favor, verifique os comentários acima. Aqui está uma rápida implementação em R.

x <- c(1,2,1,1,3,4,4,1,2,4,1,4,3,4,4,4,3,1,3,2,3,3,3,4,2,2,3)
p <- matrix(nrow = 4, ncol = 4, 0)
for (t in 1:(length(x) - 1)) p[x[t], x[t + 1]] <- p[x[t], x[t + 1]] + 1
for (i in 1:4) p[i, ] <- p[i, ] / sum(p[i, ])

Resultados:

> p
          [,1]      [,2]      [,3]      [,4]
[1,] 0.1666667 0.3333333 0.3333333 0.1666667
[2,] 0.2000000 0.2000000 0.4000000 0.2000000
[3,] 0.1428571 0.1428571 0.2857143 0.4285714
[4,] 0.2500000 0.1250000 0.2500000 0.3750000

Uma implementação (provavelmente burra) no MATLAB (que eu nunca usei, por isso não sei se isso vai funcionar. Acabei de pesquisar no Google "declarar matriz vetorial MATLAB" para obter a sintaxe):

x = [ 1, 2, 1, 1, 3, 4, 4, 1, 2, 4, 1, 4, 3, 4, 4, 4, 3, 1, 3, 2, 3, 3, 3, 4, 2, 2, 3 ]
n = length(x) - 1
p = zeros(4,4)
for t = 1:n
  p(x(t), x(t + 1)) = p(x(t), x(t + 1)) + 1
end
for i = 1:4
  p(i, :) = p(i, :) / sum(p(i, :))
end

zen
fonte

Parece ótimo! No entanto, não tenho certeza do que a terceira linha faz no seu código (principalmente porque estou familiarizado com o Matlab). Alguma chance de você escrever no matlab ou no pseudo-código? Eu ficaria muito grato.

HCAI

A terceira linha faz isso: os valores da cadeia são

. Para

, incremente

x_{1}, \dots, x_{n}

$x_1,\dots,x_n$

t = 1, \dots, n - 1

$t=1,\dots,n-1$

p_{x_{t}, x_{t + 1}}

$p_{x_t,x_{t+1}}$

Zen

A quarta linha normaliza cada linha da matriz

(p_{i j})

$(p_{ij})$

Zen

Nua com minha lentidão aqui. Agradeço a tradução do código MATLAB, embora ainda não consiga ver o que está tentando fazer no seu primeiro forloop. A terceira linha do código original está contando o número de vezes que

passa do estado

para o estado

? Se você pudesse dizer em palavras, eu apreciaria muito isso. Cheers

x

$x$

x_{i}

$x_i$

x_{j}

$x_j$

HCAI

Não,

é apenas uma linha. Não concatene, porque você introduzirá transições "falsas": último estado de uma linha

primeiro estado da próxima linha. Você precisa alterar o código para percorrer as linhas da sua matriz e contar as transições. No final, normalize cada linha da matriz de transição.

x

$x$

\to

$\to$

Zen

Aqui está minha implementação em R

x <- c(1,2,1,1,3,4,4,1,2,4,1,4,3,4,4,4,3,1,3,2,3,3,3,4,2,2,3)
xChar<-as.character(x)
library(markovchain)
mcX<-markovchainFit(xChar)$estimate
mcX

Giorgio Spedicato
fonte

solicitação do user32041 (postada como uma edição em vez de um comentário, pois não possui reputação): como coagir a transiçãoMatrix do resultado markovchainFit a um data.frame?

quer

d a t a . f r a m e

$data.frame$

a s (m c X, " d a t a . f r a m e ")

$as(mcX,"data.frame")$

@GiorgioSpedicato, você pode comentar sobre como lidar com seqüências de comprimentos desiguais (não posso concatenar), por favor no seu pacote?

HCAI

@HCAI, consulte a página atual da vinheta 35-36

Giorgio Spedicato

@GiorgioSpedicato, obrigado pela referência cran.r-project.org/web/packages/markovchain/vignettes/… . Eu ainda tenho n matrizes de transição, uma para cada sequência. O que eu estou procurando é um que leve em consideração todas as observações de sequência. Tem algo que estou perdendo?

HCAI

Aqui está uma maneira de fazer isso no Matlab:

x = [1,2,1,1,3,4,4,1,2,4,1,4,3,4,4,4,3,1,3,2,3,3,3,4,2,2,3];
counts_mat = full(sparse(x(1:end-1),x(2:end),1));
trans_mat = bsxfun(@rdivide,counts_mat,sum(counts_mat,2))

Agradecimento devido a SomptingGuy: http://www.eng-tips.com/viewthread.cfm?qid=236532

John
fonte