Qual é o equivalente bayesiano de um teste geral de qualidade do ajuste?

25

Eu tenho dois conjuntos de dados, um de um conjunto de observações físicas (temperaturas) e outro de um conjunto de modelos numéricos. Estou fazendo uma análise de modelo perfeito, supondo que o conjunto de modelos represente uma amostra verdadeira e independente e verificando se as observações são extraídas dessa distribuição. A estatística que calculei é normalizada e deve teoricamente ser uma distribuição normal padrão. Claro que não é perfeito, então quero testar a qualidade do ajuste.

Usando o raciocínio freqüentista, eu poderia calcular uma estatística de Cramér-von Mises (ou Kolmogorov-Smirnov etc.), ou similar, e procurar o valor em uma tabela para obter um valor-p, para me ajudar a decidir o quão improvável o valor I veja é, dado que as observações são as mesmas do modelo.

Qual seria o equivalente bayesiano desse processo? Ou seja, como quantifico a força da minha crença de que essas duas distribuições (minha estatística calculada e a normal padrão) são diferentes?

naught101
fonte
Algo como isso pode caber a conta.
Ciano

Respostas:

23

Eu sugeriria o livro Análise Bayesiana de Dados como uma excelente fonte para responder a essa pergunta (em particular o capítulo 6) e tudo o que estou prestes a dizer. Mas uma das maneiras usuais de os bayesianos atacarem esse problema é usar valores-P preditivos posteriores (PPPs). Antes de abordar como as PPPs resolveriam esse problema, primeiro defina a seguinte notação:

Seja os dados observados e θ seja o vetor de parâmetros. Nós definimosyθ como osdadosreplicadosquepoderiam tersido observados, ou, pensando preditivamente, como os dados queveríamosamanhã se o experimento que produziu y hoje fosse replicado com o mesmo modelo e o mesmo valor deque produziu o dados observados.yrepresentanteyθ

Observe que definiremos a distribuição de dado o estado atual do conhecimento com a distribuição preditiva posterior p ( y rep | y ) = q p ( y rep | θ ) p ( θ | y ) d θyrepresentante

p(yrepresentante|y)=Θp(yrepresentante|θ)p(θ|y)dθ

Agora, podemos medir a discrepância entre o modelo e os dados, definindo as quantidades de teste , os aspectos dos dados que desejamos verificar. Uma quantidade de teste ou medida de discrepância , , é um resumo escalar de parâmetros e dados que é usado como padrão ao comparar dados com simulações preditivas. As quantidades de teste desempenham o papel no modelo bayesiano, verificando se as estatísticas de teste desempenham nos testes clássicos. Definimos a notação para uma estatística de teste, que é uma quantidade de teste que depende apenas dos dados; no contexto bayesiano, podemos generalizar as estatísticas dos testes para permitir a dependência dos parâmetros do modelo em sua distribuição posterior.T ( y )T(y,θ)T(y)

Classicamente, o valor p para a estatística de teste é onde a probabilidade é obtida sobre a distribuição de com corrigido.p C = Pr ( T ( y rep ) T ( y ) | θ ) y rep θT(y)

pC=Pr(T(yrepresentante)T(y)|θ)
yrepresentanteθ

Do ponto de vista bayesiano, a falta de ajuste dos dados em relação à distribuição preditiva posterior pode ser medida pela probabilidade da área da cauda, ​​ou valor p, da quantidade de teste e calculada usando simulações posteriores de . Na abordagem bayesiana, as quantidades de teste podem ser funções dos parâmetros desconhecidos, bem como dados, porque a quantidade de teste é avaliada com base na distribuição posterior dos parâmetros desconhecidos.(θ,yrepresentante)

Agora, podemos definir o valor p Bayesiano (PPP) como a probabilidade de que os dados replicados possam ser mais extremos que os dados observados, conforme medido pela quantidade de teste:

pB=Pr(T(yrepresentante,θ)T(y,θ)|y)
onde a probabilidade é assumida sobre a distribuição posterior de e a distribuição preditiva posterior de (que é, a distribuição conjunta, ): que sou a função do indicador. Na prática, porém, geralmente calculamos a distribuição preditiva posterior usando simulações. θyrepresentantep(θ,yrepresentante|y)
pB=ΘEuT(yrepresentante,θ)T(y|θ)p(yrepresentante|θ)p(θ|y)dyrepresentantedθ,
Eu

Se já temos, digamos, simulações em da distribuição posterior de , podemos apenas desenhar um da distribuição preditiva para cada simuladoeuθyrepresentanteθ ; agora temos desenha da distribuição posterior da articulação, . A verificação preditiva posterior é a comparação entre as quantidades de teste realizadas e as quantidades de teste preditivo . O valor p estimado é apenas a proporção dessas simulações para as quais a quantidade de teste é igual ou superior ao seu valor realizado; isto é, para o qualeup(yrepresentante,θ|y)T(y,θeu)T(yrepresentanteeu,θeu)eu

T(yrepresentanteeu,θeu)T(y,θeu)
para . eu=1 1,...,eu

Em contraste com a abordagem clássica, a verificação do modelo bayesiano não requer métodos especiais para lidar com "parâmetros incômodos". Usando simulações posteriores, calculamos a média implicitamente de todos os parâmetros no modelo.

Uma fonte adicional, Andrew Gelman, também tem um artigo muito bom sobre PPPs aqui: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

fsociety
fonte
3

Uma possibilidade relativamente simples: testes suaves de qualidade do ajuste por exemplo, [1] - que definem a alternativa em termos de desvios suaves do nulo, construídos por polinômios ortogonais (com relação à densidade nula como função de peso), são relativamente diretos. são transferidos para uma estrutura bayesiana, uma vez que os coeficientes dos polinômios formam uma extensão flexível, mas paramétrica, do nulo.

[1]: Rayner, JCW e DJ Best (1990),
"Testes suaves de qualidade do ajuste: uma visão geral",
International Statistical Review , 58 : 1 (abr), pp. 9-17

Glen_b -Reinstate Monica
fonte