Modelos de Markov com probabilidades de transição condicionais

10

Primeiro, permita-me reconhecer de antemão que não sou tão versado em estatística e matemática quanto gostaria de ser. Alguns podem dizer ter conhecimento suficiente para ser perigoso. : Vou pedir desculpas se não estiver usando a terminologia corretamente.

Estou tentando modelar as probabilidades de um sistema em transição de um estado para outro. Um modelo simples de Markov é um bom começo. (Conjunto de estados, conjunto de probabilidades de estado inicial, conjunto de probabilidades de transição entre estados.)

No entanto, o sistema que estou modelando é mais complexo que isso. As probabilidades de transição que levam a um estado no tempo T são certamente dependentes de variáveis ​​diferentes do estado no T-1. Por exemplo, S1 -> S2 pode ter uma probabilidade de transição de 40% quando o sol está brilhando, mas a probabilidade S1 -> S2 chega a 80% quando está chovendo.

Informações adicionais das perguntas dos comentaristas:

  1. Os estados são observáveis.
  2. Haverá apenas 5 a 10 estados.
  3. Atualmente, existem cerca de 30 covariáveis ​​que queremos investigar, embora o modelo final certamente tenha menos que isso.
  4. Algumas covariáveis ​​são contínuas, outras são discretas.

Três perguntas:

  1. Como posso incorporar probabilidades de transição condicional no meu modelo de Markov?
  2. Ou existe outra perspectiva inteiramente a partir da qual eu deveria abordar esse problema?
  3. Além disso, quais palavras-chave / conceitos devo procurar on-line para saber mais sobre isso?

Eu já estava na web procurando coisas como "modelos markov com probabilidades de transição condicionais", mas até agora nada me deu um tapa na cara e disse: "Esta é a sua resposta, idiota!"

Obrigado por sua ajuda e paciência.

Aaron Johnson
fonte
Bem vindo ao site. Qual é o tamanho do espaço de estado? Você observa o estado em que seu processo está em cada etapa? Quantas covariáveis ​​(preditores adicionais) você possui? Eles são contínuos, discretos ou talvez uma mistura de ambos?
cardeal
Obrigado cardeal. Sim, os estados são observáveis. Provavelmente haverá 5 a 10 estados. (Ainda é incerto, mas não espero um espaço de estado muito grande.) No momento, temos uma lista de cerca de 30 covariáveis ​​adicionais que pretendemos investigar, embora a maioria provavelmente acabe tendo pouco efeito. Alguns são contínuos e outros são discretos.
Aaron Johnson

Respostas:

5

Você sempre pode ter uma cadeia de markov de 2ª ou superior ordem. Nesse caso, todo o seu modelo pronto inclui todas as informações probabilísticas de transição. Você pode verificar Redes Bayesianas Dinâmicas, que é uma generalização de modelo gráfico de Correntes de Markov que são utilizadas com freqüência no aprendizado de máquina.

YBE
fonte
YBE, Obrigado pela resposta rápida! Isso (modelar o sistema como uma 2ª ordem ou cadeia superior) me permite modelar covariáveis ​​contínuas ou apenas covariáveis ​​discretas? E você pode me indicar um link que dê um bom exemplo do que você está falando? Obrigado!
Aaron Johnson
Há um papel que você pode verificar. Começa primeiro a descrever as cadeias de 1ª ordem e depois descreve a situação para as cadeias de ordem superior. (Cadeias de Markov multivariadas de ordem superior e suas aplicações por Ching, Ng, Fung) Se você estiver interessado em coisas sobre aprendizado de máquina, sugiro que você verifique o site de Kevin Murphy. Ele também tem uma caixa de ferramentas do MATLAB com a qual você pode brincar.
YBE 12/03/12
+1 na sua resposta para a referência ao artigo Ching, Ng e Fung. Essa é boa de se ter. No entanto, depois de ler, parece que ele cobre apenas variáveis ​​discretas (o que é o que eu esperava). Embora eu possa discretizar minhas variáveis ​​contínuas, ainda estou curioso - existem modelos que podem lidar com a contínua bruta variáveis?
Aaron Johnson
Não sou especialista, mas acho que os resultados devem valer para casos contínuos em geral. O filtro Kalman, por exemplo, é executado em um HMM (cadeia de markov de 1ª ordem) com estados contínuos.
YBE 19/03/12
Não escolhi sua resposta imediatamente porque estava esperando mais candidatos. Eles nunca vieram, e eu esqueci. Dois anos depois, eu agora concedo a você por aceitar sua resposta. Obrigado pela informação! A propósito, você se deparou com mais alguma coisa sobre esse assunto nos últimos dois anos? Ainda é algo que me interessa.
Aaron Johnson
0

Eu estava me perguntando a mesma pergunta e, se você realmente precisar apenas modelar o resultado com base no estado em e covariáveis, poderá encontrar o pacote msm em R útil.T1

Este pacote parece ser um bom ajuste para modelar os efeitos de covariáveis ​​nas transições entre resultados categóricos ao longo do tempo. Não ajudaria se você realmente precisasse de uma cadeia de pedidos superior, mas não parece ser esse o caso com base na sua pergunta original.

Eric Czech
fonte