Parâmetros vs variáveis latentes

Eu perguntei sobre isso antes e realmente tenho lutado para identificar o que torna um parâmetro de modelo e o que o torna uma variável latente. Portanto, analisando vários tópicos sobre este tópico neste site, a principal distinção parece ser:

Variáveis latentes não são observadas, mas têm uma distribuição de probabilidade associada a elas, pois são variáveis e parâmetros também não são observados e não têm distribuição associada a elas, que eu entendo como essas são constantes e têm um valor fixo, mas desconhecido, que estamos tentando encontrar. Além disso, podemos colocar anteriores nos parâmetros para representar nossa incerteza sobre esses parâmetros, embora exista apenas um valor verdadeiro associado a eles ou, pelo menos, é o que assumimos. Espero estar correto até agora?

Agora, observei este exemplo para regressão linear ponderada bayesiana de um artigo de jornal e estou realmente lutando para entender o que é um parâmetro e o que é uma variável:

y_{Eu} = β^{T} x_{Eu} + ϵ_{y_{Eu}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Aqui e $x$ são observados, mas apenas é tratado como uma variável, ou seja, possui uma distribuição associada a ela. $y$ $y$

Agora, as premissas de modelagem são:

y \sim N (β^{T} x_{Eu}, σ^{2} / W_{Eu})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Portanto, a variação de é ponderada. $y$

Há também uma distribuição prévia em $\beta$ e , que são distribuições normais e gama respectivamente. $w$

Portanto, a probabilidade completa do log é dada por:

registro p (y, W, β | x) = Σ registro P (y_{Eu} | W, β, x_{Eu}) + registro P (β) + Σ registro P (W_{Eu})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Agora, pelo que entendi, tanto e são parâmetros de modelo. No entanto, no artigo eles continuam se referindo a eles como variáveis latentes. Meu raciocínio é e são parte da distribuição de probabilidade da variável e são parâmetros do modelo. No entanto, os autores as tratam como variáveis aleatórias latentes. Isso está correto? Se sim, quais seriam os parâmetros do modelo? $\beta$ $w$ $\beta$ $w$ $y$

O artigo pode ser encontrado aqui ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

O artigo é Detecção automática de outlier: uma abordagem bayesiana de Ting et al.

bayesian modeling random-variable latent-variable Luca
fonte

Pode ser útil listar uma citação no artigo (e talvez um link). Parte do problema é que essas diferenças diferem exatamente das perspectivas freqüentista e bayesiana. A partir da perspectiva Bayesiana, um parâmetro faz ter uma distribuição - não é apenas algo acrescentado para representar incerteza.

gung - Restabelece Monica

Eu pensei que seria injusto, pois as pessoas pensam que espero que leiam o jornal sem explicar as coisas, mas eu o coloquei agora.

Luca

Por que você não pode colocar um prior em uma variável latente? Sou um novato bayesiano, mas parece que você deve conseguir fazer isso.

Robin.datadrivers

Eu acho que certamente podemos, é claro, e ter que fazê-lo na configuração bayesiana. No entanto, não sei por que

são variáveis nessa configuração. Para mim, eles se parecem com parâmetros do modelo. Estou tendo problemas para dizer o que faz

que digamos

uma variável e não um parâmetro nesta configuração. Eu sou um novato, bem, como você pode ver claramente ...

w

$w$

β

$\beta$

w

$w$

Luca

Obrigado, @Luca. Não seria bom se você exigisse que as pessoas leiam o jornal, mas tê-lo lá para contextualizar é bom. Eu acho que você fez isso direito.

gung - Restabelece Monica

No artigo, e em geral, variáveis (aleatórias) são tudo o que é extraído de uma distribuição de probabilidade. Variáveis latentes (aleatórias) são aquelas que você não observa diretamente ( é observado, não é, mas ambas são rv). A partir de uma variável aleatória latente, é possível obter uma distribuição posterior, que é sua distribuição de probabilidade condicionada aos dados observados. $y$ $\beta$

Por outro lado, um parâmetro é fixo, mesmo que você não saiba seu valor. A estimativa de máxima verossimilhança, por exemplo, fornece o valor mais provável do seu parâmetro. Mas isso lhe dá um ponto, não uma distribuição completa, porque coisas fixas não têm distribuições! (Você pode colocar uma distribuição sobre a certeza de que tem esse valor ou em que faixa esse valor é, mas não é o mesmo que a distribuição do próprio valor, que só existe se o valor for realmente aleatório variável)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$ dependente de duas variáveis aleatórias.

$\beta$ $w$ são variáveis aleatórias.

Nesta frase:

Essas equações de atualização precisam ser executadas iterativamente até que todos os parâmetros e a probabilidade completa do log converjam para valores estáveis

em teoria, eles falam sobre os dois parâmetros, não os que são variáveis aleatórias, já que no EM é isso que você faz, otimizando os parâmetros.

Alberto
fonte

A questão era sobre variáveis latentes .

Tim

fixo, espero que esteja mais claro agora.

alberto

Parâmetros vs variáveis ​​latentes

Respostas:

Parâmetros vs variáveis latentes