Parâmetros vs variáveis ​​latentes

13

Eu perguntei sobre isso antes e realmente tenho lutado para identificar o que torna um parâmetro de modelo e o que o torna uma variável latente. Portanto, analisando vários tópicos sobre este tópico neste site, a principal distinção parece ser:

Variáveis ​​latentes não são observadas, mas têm uma distribuição de probabilidade associada a elas, pois são variáveis ​​e parâmetros também não são observados e não têm distribuição associada a elas, que eu entendo como essas são constantes e têm um valor fixo, mas desconhecido, que estamos tentando encontrar. Além disso, podemos colocar anteriores nos parâmetros para representar nossa incerteza sobre esses parâmetros, embora exista apenas um valor verdadeiro associado a eles ou, pelo menos, é o que assumimos. Espero estar correto até agora?

Agora, observei este exemplo para regressão linear ponderada bayesiana de um artigo de jornal e estou realmente lutando para entender o que é um parâmetro e o que é uma variável:

yEu=βTxEu+ϵyEu

Aqui ex são observados, mas apenas y é tratado como uma variável, ou seja, possui uma distribuição associada a ela.yy

Agora, as premissas de modelagem são:

yN(βTxEu,σ2/WEu)

Portanto, a variação de é ponderada.y

Há também uma distribuição prévia em β e , que são distribuições normais e gama respectivamente. W

Portanto, a probabilidade completa do log é dada por:

registrop(y,W,β|x)=ΣregistroP(yEu|W,β,xEu)+registroP(β)+ΣregistroP(WEu)

Agora, pelo que entendi, tanto e w são parâmetros de modelo. No entanto, no artigo eles continuam se referindo a eles como variáveis ​​latentes. Meu raciocínio é β e w são parte da distribuição de probabilidade da variável y e são parâmetros do modelo. No entanto, os autores as tratam como variáveis ​​aleatórias latentes. Isso está correto? Se sim, quais seriam os parâmetros do modelo?βWβWy

O artigo pode ser encontrado aqui ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

O artigo é Detecção automática de outlier: uma abordagem bayesiana de Ting et al.

Luca
fonte
2
Pode ser útil listar uma citação no artigo (e talvez um link). Parte do problema é que essas diferenças diferem exatamente das perspectivas freqüentista e bayesiana. A partir da perspectiva Bayesiana, um parâmetro faz ter uma distribuição - não é apenas algo acrescentado para representar incerteza.
gung - Restabelece Monica
Eu pensei que seria injusto, pois as pessoas pensam que espero que leiam o jornal sem explicar as coisas, mas eu o coloquei agora.
Luca
Por que você não pode colocar um prior em uma variável latente? Sou um novato bayesiano, mas parece que você deve conseguir fazer isso.
Robin.datadrivers
Eu acho que certamente podemos, é claro, e ter que fazê-lo na configuração bayesiana. No entanto, não sei por que ou β são variáveis ​​nessa configuração. Para mim, eles se parecem com parâmetros do modelo. Estou tendo problemas para dizer o que faz com que digamos w uma variável e não um parâmetro nesta configuração. Eu sou um novato, bem, como você pode ver claramente ...WβW
Luca
2
Obrigado, @Luca. Não seria bom se você exigisse que as pessoas leiam o jornal, mas tê-lo lá para contextualizar é bom. Eu acho que você fez isso direito.
gung - Restabelece Monica

Respostas:

6

No artigo, e em geral, variáveis (aleatórias) são tudo o que é extraído de uma distribuição de probabilidade. Variáveis latentes (aleatórias) são aquelas que você não observa diretamente ( y é observado, β não é, mas ambas são rv). A partir de uma variável aleatória latente, é possível obter uma distribuição posterior, que é sua distribuição de probabilidade condicionada aos dados observados.yβ

Por outro lado, um parâmetro é fixo, mesmo que você não saiba seu valor. A estimativa de máxima verossimilhança, por exemplo, fornece o valor mais provável do seu parâmetro. Mas isso lhe dá um ponto, não uma distribuição completa, porque coisas fixas não têm distribuições! (Você pode colocar uma distribuição sobre a certeza de que tem esse valor ou em que faixa esse valor é, mas não é o mesmo que a distribuição do próprio valor, que só existe se o valor for realmente aleatório variável)

yβWyβWy dependente de duas variáveis aleatórias.

βW são variáveis ​​aleatórias.

Nesta frase:

Essas equações de atualização precisam ser executadas iterativamente até que todos os parâmetros e a probabilidade completa do log converjam para valores estáveis

em teoria, eles falam sobre os dois parâmetros, não os que são variáveis ​​aleatórias, já que no EM é isso que você faz, otimizando os parâmetros.

Alberto
fonte
A questão era sobre variáveis latentes .
Tim
fixo, espero que esteja mais claro agora.
alberto