Por que a permutabilidade de variáveis ​​aleatórias é essencial em modelos bayesianos hierárquicos?

Respostas:

8

A permutabilidade não é uma característica essencial de um modelo hierárquico (pelo menos não no nível observacional). É basicamente um análogo bayesiano de "independente e identicamente distribuído" da literatura padrão. É simplesmente uma maneira de descrever o que você sabe sobre a situação em questão. Ou seja, "embaralhar" não altera seu problema. Uma maneira de pensar nisso é considerar o caso em que você recebeu mas não foi informado o valor de . Se aprender que levaria você a suspeitar de valores específicos de mais do que outros, a sequência não será intercambiável. Se não lhe disser nada sobrexj=5jxj=5jj, a sequência é intercambiável. Observe que a permutabilidade está "na informação" e não na "realidade" - depende do que você sabe.

Embora a permutabilidade não seja essencial em termos das variáveis ​​observadas, provavelmente seria bastante difícil ajustar qualquer modelo sem alguma noção de permutabilidade, porque sem a permutabilidade você basicamente não tem justificativa para agrupar as observações. Portanto, meu palpite é que suas inferências serão muito mais fracas se você não tiver permutabilidade em algum lugar do modelo. Por exemplo, considere para . Se for completamente permutável, isso significa e . Se for condicionalmente permutável, dado , isso significaxiN(μi,σi)i=1,,Nxiμi=μσi=σxiμiσi=σ. Se for condicionalmente permutável, dado , isso significa . Mas observe que em um desses dois casos "condicionalmente permutáveis", a qualidade da inferência é reduzida em comparação com o primeiro, porque existem parâmetros adicionais que são introduzidos no problema. Se não temos permutabilidade, basicamente temos problemas não relacionados.xiσiμi=μNN

Basicamente significa intercambialidade podemos fazer a inferência para qualquer e que são parcialmente permutáveis i jxiparametersxjij

probabilityislogic
fonte
4

"Essencial" é muito vago. Mas, suprimindo os aspectos técnicos, se a sequência for intercambiável, os serão condicionalmente independentes, dados alguns parâmetros não observados com uma distribuição de probabilidade . Ou seja, . não precisa ser univariado ou mesmo dimensional finito e pode ser ainda mais representado como uma mistura etc.X i Θ π p ( X ) = p ( X i | Θ ) d π ( Θ ) ΘX={Xi}XiΘπp(X)=p(Xi|Θ)dπ(Θ)Θ

A permutabilidade é essencial no sentido de que essas relações de independência condicional nos permitem ajustar modelos que quase certamente não poderíamos de outra maneira.

JMS
fonte
0

Não é! Não sou especialista aqui, mas darei meus dois centavos. Em geral, quando você tem um modelo hierárquico, diga

y|Θ1N(XΘ1,σ2)

Θ1|Θ2N(WΘ2,σ2)

Fazemos suposições de independência condicional, isto é, condicionais em , as são intercambiáveis. Se o segundo nível não for intercambiável, você poderá incluir outro nível que o torne intercambiável. Mas, mesmo que você não consiga supor a excelência, o modelo ainda pode ser um bom ajuste para seus dados no primeiro nível. Θ 1Θ2Θ1

Por último, mas não menos importante, a permutabilidade é importante apenas se você quiser pensar em termos do teorema da representação de De Finetti. Você pode apenas pensar que os anteriores são ferramentas de regularização que ajudam você a se ajustar ao seu modelo. Nesse caso, a suposição de permutabilidade é tão boa quanto seu modelo se encaixa nos dados. Em outras palavras, se você pensa no modelo hierárquico bayesiano como uma maneira de se ajustar melhor aos seus dados, a permutabilidade não é essencial em nenhum sentido.

Manoel Galdino
fonte
@Mancel Não recue suas fórmulas; caso contrário, eles serão renderizados como literalmente ( <pre>...</pre>em HTML). Veja aqui para mais informações sobre a formatação Markdown.
chl