Em um modelo hierárquico bayesiano, se a permutabilidade não se mantém, o que exatamente dá errado?

Em muitos livros didáticos, quando um modelo bayesiano é apresentado, como um modelo normal-normal clássico, há algum tipo de breve menção de que os ensaios devem ser intercambiáveis. Pergunto-me por que isso é necessário e o que dá errado se a permutabilidade não é válida. Alguém tem respostas concisas?

A permutabilidade não é necessária. Existem modelos bayesianos nos quais as observações não são permutáveis. Por exemplo, modelos para análise de séries temporais e previsão em previsão do tempo ou finanças. De um modo geral, nesses modelos, observações mais recentes são consideradas mais relevantes para inferir sobre futuras; uma espécie de "memória fraca". Portanto, a permutabilidade não pode ser assumida por eles. Existe uma enorme variedade de modelos não permutáveis; veja as referências abaixo.

Modelos permutáveis ​​costumam ser mais fáceis de lidar, mas podem ser inadequados. De fato, em vez de "errado" vs "certo", a questão é se a permutabilidade ou outras suposições, como a "memória fraca" mencionada acima, são mais apropriadas ou razoáveis ​​para as inferências que você está fazendo, ou computacionalmente mais fáceis. Muitas vezes precisamos encontrar um equilíbrio entre esses dois aspectos.

Não existe "certo" ou "errado" porque não há experimento que possa nos dizer se um modelo de inferência está "correto". Esta é a questão fundamental da indução , sobre a qual muitos, muitos autores escreveram; Eu recomendo os trabalhos de Hume, Johnson, Jeffreys, de Finetti, Jaynes citados abaixo. Só podemos aplicar uma maneira específica de indução, formalizada como modelo estatístico, e depois ver se estamos satisfeitos com isso ou não. E essa satisfação depende de muitos critérios, muitos dos quais subjetivos.

Textos como Bernardo & Smith: Bayesian Theory (Wiley 2000) enfocam mais a permutabilidade, mas, como eles próprios observam (§ 1.4.1), seu livro não pretende cobrir todos os tipos de inferências na teoria da probabilidade bayesiana. Os textos especificamente focados em modelos não permutáveis ​​são, por exemplo:

• R. Prado, M. West: Séries Temporais: Modelagem, Computação e Inferência (CRC 2010) - esse deve ser um bom e recente ponto de partida se você já estiver familiarizado com modelos intercambiáveis.

• A. Pole, M. West, J. Harrison: Previsão Bayesiana Aplicada e Análise de Séries Temporais (Springer 1994)

• E. Greenberg: Introdução à Econometria Bayesiana (Cambridge 2008)

• A. Zellner: Uma Introdução à Inferência Bayesiana em Econometria (Wiley 1996)

• GL Bretthorst: Análise do espectro bayesiano e estimativa de parâmetros (Springer 1988) http://bayes.wustl.edu/glb/bib.html

• GE Box, GM Jenkins, GC Reinsel, GM Ljung: Análise de Séries Temporais: Previsão e Controle (Wiley 2016), especialmente ch. 7

• W. Palma: Séries temporais de memória longa: teoria e métodos (Wiley 2007), especialmente ch. 8

Veja também as numerosas referências sobre séries temporais que Bernardo & Smith fornecem no § 5.6.5.

Em relação à indução, alguns textos perspicazes são:

• D. Hume: Um Tratado da Natureza Humana: Tentativa de Introduzir o Método Experimental de Raciocínio no Assunto Moral (Oxford 1896) https://archive.org/details/treatiseofhumann00hume_0 , Livro I, § III.VI

• WE Johnson: Probabilidade: os problemas dedutivos e indutivos , Mind 41 n. 164 (1932), 409-423

• WE Johnson: Lógica. Parte II: Inferência demonstrativa: dedutiva e indutiva (Cambridge 1922) https://archive.org/details/logic02john , capítulos VIII e seguintes

• WE Johnson: Lógica. Parte III: Os Fundamentos Lógicos da Ciência (Cambridge 1924) https://archive.org/details/logic03john , o Apêndice

• B. de Finetti: prospectiva: suas leis lógicas, suas fontes subjetivas , em Kyburg, Smokler: Estudos em probabilidade subjetiva (Krieger 1980), pp. 53-118

• B. de Finetti: Probabilidade, Indução e Estatística: A arte de adivinhar (Wiley 1972), capítulo 9

• H. Jeffreys: A posição atual na teoria das probabilidades , Brit. J. Phil. Sci. 5 n. 20 (1955), 275–289

• H. Jeffreys: Inferência Científica (Cambridge 1973), cap. Eu

• H. Jeffreys: Teoria da Probabilidade (Oxford 2003), § 1.0

• ET Jaynes: Teoria da Probabilidade: A Lógica da Ciência (Cambridge 2003) http://www-biba.inrialpes.fr/Jaynes/prob.html , http://omega.albany.edu:8008/JaynesBook.html , http: //omega.albany.edu:8008/JaynesBookPdf.html , § 9.4

A partir do teorema da representação , sabemos que a permutabilidade é essencialmente apenas uma condição operacional equivalente à forma condicional do IDI (o que implica correlação entre os valores observáveis). Se isso não acontecer, significa apenas que existe alguma estrutura para o problema que é incompatível com o formulário condicional de IID. Pode ser algum tipo de correlação automática, ou outra forma correlacionada baseada em ordem (em oposição à correlação equitativa) ou algum outro tipo de efeito envolvendo dependências estatísticas que não são iguais entre pares de observáveis.