Por que os priores de Jeffreys são considerados não informativos?

27

Considere um Jeffreys anterior onde p(θ)|i(θ)|, ondeié a informação de Fisher.

Eu continuo vendo esse prior sendo mencionado como um prior não informativo, mas nunca vi um argumento sobre por que ele não é informativo. Afinal, não é um constante constante, então deve haver outro argumento.

Entendo que isso não depende de reparametrização, o que me leva à próxima pergunta. Será que o determinante da informação de Fisher não depende de reparametrização? Porque as informações de Fisher definitivamente dependem da parametrização do problema.

Obrigado.

bayesiano
fonte
Você leu o artigo da Wikipedia? pt.wikipedia.org/wiki/Jeffreys_prior
whuber
2
Sim, eu tinha olhado lá. talvez esteja faltando alguma coisa, mas não acho que o artigo da Wikipedia dê uma resposta adequada às minhas perguntas.
bayesian
Veja também stats.stackexchange.com/questions/38962/…
Stéphane Laurent
Observe que o Jeffreys anterior não é invariável em relação a modelos equivalentes. Por exemplo, a inferência sobre um parâmetro é diferente ao usar distribuições binomiais ou negativas de amostragem binomial negativa. Isso ocorre apesar das funções de probabilidade serem proporcionais e o parâmetro ter o mesmo significado nos dois modelos. p
probabilityislogic

Respostas:

12

É considerado não informativo devido à invariância da parametrização. Você parece ter a impressão de que um anterior uniforme (constante) não é informativo. Às vezes é, às vezes não é.

O que acontece com o anterior de Jeffreys em uma transformação é que o jacobiano da transformação é sugado para as informações originais de Fisher, o que acaba fornecendo as informações de Fisher sob a nova parametrização. Sem mágica (pelo menos na mecânica), apenas um pouco de cálculo e álgebra linear.

JMS
fonte
6
Eu discordo desta resposta. Usar um prior subjetivo também é um procedimento invariável de parametrização!
Stéphane Laurent
29

O prior de Jeffreys coincide com o anterior de Bernardo para o espaço paramétrico unidimensional (e modelos "regulares"). Grosso modo, é o prior para o qual a divergência de Kullback-Leibler entre o prior e o posterior é máxima. Essa quantidade representa a quantidade de informações trazidas pelos dados. É por isso que o prior é considerado não informativo: é o único para o qual os dados trazem a quantidade máxima de informações.

A propósito, não sei se Jeffreys estava ciente dessa caracterização de seu anterior.

Stéphane Laurent
fonte
2
"Grosso modo, este é o prior para o qual a divergência de Kullback-Leibler entre o prior e o posterior é máxima". Interessante, eu não sabia disso.
Cam.Davidson.Pilon
1
(+1) Boa resposta. Seria bom ver algumas referências de alguns dos seus pontos ( por exemplo , 1 , 2 ).
1
@Procrastinator No momento, estou escrevendo um novo post sobre informações não informativas;) Aguarde alguns dias.
Stéphane Laurent
6

Eu diria que não é absolutamente não informativo, mas minimamente informativo. Ele codifica o conhecimento prévio (bastante fraco) de que você sabe que seu estado anterior de conhecimento não depende de sua parametrização (por exemplo, as unidades de medida). Se o seu estado anterior de conhecimento fosse precisamente zero, você não saberia que o seu anterior era invariável a essas transformações.

Dikran Marsupial
fonte
Estou confuso. Em que tipo de caso você saberia que antes deveria depender da parametrização do modelo?
John Lawrence Aspden
2
Se queremos prever a longevidade em função do peso corporal, usando um GLM, sabemos que a conclusão não deve ser afetada se pesarmos o sujeito em kg ou lb; se você usar um uniforme simples antes dos pesos, poderá obter resultados diferentes, dependendo das unidades de medida.
Dikran Marsupial
1
Esse é um caso em que você sabe que não deve ser afetado. Qual é o caso em que deveria?
John Lawrence Aspden
1
Eu acho que você está perdendo o meu ponto. Digamos que não sabemos nada sobre os atributos, nem mesmo que eles tenham unidades de medida para as quais a análise deve ser invariável. Nesse caso, seu prior codificaria menos informações sobre o problema do que o prior de Jeffrey; portanto, o prior de Jeffrey não é completamente pouco informativo. Podem ou não ser situações em que a análise não deve ser invariável para alguma transformação, mas isso não vem ao caso.
Dikran Marsupial
2
Nota: de acordo com o livro BUGS (pág. 83), o próprio Jeffrey se referiu a esses anteriores invariantes de transformação como "minimamente informativos", o que implica que ele os via codificando algumas informações sobre o problema.
Dikran Marsupial