Quais são / são os antecedentes implícitos nas estatísticas freqüentistas?

19

Eu ouvi a noção de que Jaynes afirma que os freqüentadores operam com um "prévio implícito".

O que são ou são esses antecedentes implícitos? Isso significa que os modelos freqüentadores são todos casos especiais de modelos bayesianos à espera de serem encontrados?

Bayesquest
fonte
O prior implícito é uma distribuição degenerada que coloca toda a massa de probabilidade em , o parâmetro que o freqüentador bayesiano está tentando estimar. θ
Dilip Sarwate
3
Até onde eu sei, não há modelo freqüentista ou bayesiano, existem apenas modelos e abordagens diferentes para eles.
Andrey Kolyadin
3
@DilipSarwate: Não concordo com esta afirmação. Usar uma massa de Dirac como prévia não induz procedimentos freqüentistas. E o paradigma bayesiano não permite anteriores com parâmetros desconhecidos, exceto ao definir outro anterior nesses parâmetros.
Xi'an
2
Sempre existe um prioritário, não importa o quê. Infelizmente, todos os procedimentos estatísticos requerem um ponto de partida ad-hoc, o que os torna muito arbitrários. A coisa boa é dada dados suficientes e metodologia correta que você se aproxima do seu destino. O ruim é que a distância do destino depende de onde você inicia e de quantos dados você tem em mãos.
Cagdas Ozgenc # 25/16
2
@Agdas Ozgenc: Não, sempre existem suposições , mas elas não precisam assumir a forma de distribuições anteriores.
Kjetil b halvorsen

Respostas:

17

Na teoria da decisão freqüentista, existem resultados completos de classe que caracterizam procedimentos admissíveis como procedimentos de Bayes ou como limites dos procedimentos de Bayes. Por exemplo, Stein, condição necessária e suficiente (Stein. 1955; Farrell, 1968b) afirma que, sob as seguintes premissas

  1. a densidade de amostragem f(x|θ) é contínua em θ e estritamente positiva em Θ ; e
  2. a função de perda é estritamente convexa, contínua e, se for compacto,LEΘ
    limδ+infθEL(θ,δ)=+.

um estimador é admissível se, e somente se, existirδ

  • uma sequência de conjuntos compactos crescentes tais que ,Θ = N F N(Fn)Θ=nFn
  • uma sequência de medidas finitas com suporte , eF n(πn)Fn
  • uma sequência dos estimadores de Bayes associados a modo queπ n(δn)πn

    1. existe um conjunto compacto tal queinf n π n ( E 0 ) 1E0Θinfnπn(E0)1
    2. se for compacto,sup n π n ( E ) < + EΘsupnπn(E)<+
    3. limnr(πn,δ)r(πn)=0 e
    4. limnR(θ,δn)=R(θ,δ) .

[reproduzido do meu livro, Escolha Bayesiana , Teorema 8.3.0, p.407]

Nesse sentido restrito, a propriedade freqüentista da admissibilidade é dotada de um background bayesiano, associando, assim, um anterior implícito (ou sequência do mesmo) a cada estimador admissível.

Sidenote: Em uma triste coincidência, Charles Stein faleceu em 25 de novembro em Palo Alto, Califórnia. Ele tinha 96 anos.

Existe um resultado semelhante (se envolvido matematicamente) para a estimativa invariante ou equivariante, a saber, que o melhor estimador equivariante é um estimador de Bayes para cada grupo transitivo que atua em um modelo estatístico, associado à medida correta de Haar, , induzida em por esse grupo e a perda invariável correspondente. Veja Pitman (1939), Stein (1964) ou Zidek (1969) para os detalhes envolvidos. Isso é provavelmente o que Jaynes tinha em mente, pois ele argumentou à força sobre a resolução dos paradoxos da marginalização por princípios de invariância . ΘπΘ

Além disso, conforme detalhado na resposta civilstat , outra noção freqüente de otimalidade, a minimaxidade, também é conectada aos procedimentos bayesianos, na medida em que o procedimento minimax que minimiza o erro máximo (sobre o espaço de parâmetro) é frequentemente o procedimento maximin que maximiza o erro mínimo ( em todas as distribuições anteriores), portanto, é um procedimento ou limites de Bayes.

P: Existe alguma coisa que eu possa usar para transferir minha intuição bayesiana para modelos freqüentistas?

Primeiro, eu evitaria usar o termo "modelo frequentista", pois existem modelos de amostragem (os dados são uma realização de para um valor de parâmetro )X f ( x | θ ) θ xXf(x|θ)θ e procedimentos frequentistas (melhor estimador imparcial, mínimo intervalo de confiança da variação, & tc.)95 95Segundo, não vejo uma razão metodológica ou teórica convincente para considerar os métodos freqüentistas como métodos bayesianos limítrofes ou limitantes. A justificativa para um procedimento frequentista, quando existe, é satisfazer alguma propriedade de otimalidade no espaço amostral, ou seja, ao repetir as observações. A principal justificativa para os procedimentos bayesianos é ser ótima [sob um critério específico ou função de perda], dada uma distribuição prévia e uma realização a partir do modelo de amostragem. Às vezes, o procedimento resultante satisfaz algumas propriedades freqüentes (a região com % de credibilidade é uma região de % de confiança)9595 , mas isso acontece porque essa otimização não se transfere para todos os procedimentos associados ao modelo bayesiano.

Xi'an
fonte
1
Muito obrigado. Como iniciante, existe alguma coisa que eu possa usar para transferir minha intuição bayesiana para modelos freqüentistas? ie (este GLM é semelhante a x com y anterior, ou este laço é como xyz bayesiano).
Bayesquest
1
Além disso, você se importaria de dar uma olhada na minha outra pergunta aqui: stats.stackexchange.com/questions/247850/… Sei que você propôs algumas soluções para a questão da fragilidade bayesiana ... mas sinto que as soluções não são robustas ou fácil de usar para um cientista social.
Bayesquest
1
Para o primeiro comentário, aqui estão alguns exemplos do que eu estava falando: - Redes neurais e GPs - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/… - [Um bayesiano não paramétrico (npB) ponto de vista permite a interpretação de florestas como uma amostra de árvores posteriores] ( arxiv.org/pdf/1502.02312.pdf )
Bayesquest
Trabalhamos na Inferência Bayesiana Aproximada com florestas aleatórias e descobrimos que a variabilidade resultante dessa ferramenta não estava relacionada com a posterior original. Claro, isso não significa que não permite uma interpretação Bayesian mas mesmo assim ...
Xi'an
12

A resposta de @ Xi'an é mais completa. Mas como você também pediu uma retirada expressiva, aqui está uma. (Os conceitos que mencionei não são exatamente os mesmos da configuração de admissibilidade acima.)

Freqüentemente (mas nem sempre) os freqüentistas gostam de usar estimadores que são "minimax": se eu quiser estimar , o pior risco do meu estimador deve ser melhor do que o risco de qualquer outro estimador . Acontece que os MLEs são frequentemente (aproximadamente) minimax. Veja detalhes, por exemplo, aqui ou aqui .qθθ^

Para encontrar o estimador minimax para um problema, uma maneira é pensar bayesiano por um momento e encontrar o "anterior menos favorável" . Este é o prior cujo estimador Bayes tem maior risco médio do que qualquer outro estimador Bayes. Se você puder encontrá-lo, o estimador Bayes de é minimax.πππ

Nesse sentido, você poderia dizer: Um freqüentista (usando minimax) é como um bayesiano que escolheu (a estimativa pontual baseada em) um anterior menos favorável.

Talvez você possa esticar o seguinte para dizer: Tal freqüentista é um bayesiano conservador, escolhendo não antecedentes subjetivos ou mesmo antecedentes não informativos, mas (nesse sentido específico) os piores antecedentes.

Finalmente, como outros já disseram, é muito difícil comparar freqüentistas e bayesianos dessa maneira. Ser freqüentista não implica necessariamente que você use um determinado estimador. Significa apenas que você faz perguntas sobre as propriedades de amostragem do estimador, enquanto essas perguntas não são a principal prioridade dos bayesianos. (Portanto, qualquer bayesiano que espere boas propriedades de amostragem, por exemplo, "Bayes calibrado" também é um freqüentista.)
Mesmo se você definir um frequentista como aquele cujos estimadores sempre têm ótimas propriedades de amostragem, existem muitas dessas propriedades e nem sempre é possível. conhecê-los todos de uma vez. Portanto, é difícil falar em geral sobre "todos os modelos freqüentistas".

civilstat
fonte
3
Eu pensei que um prior implícito para a análise freqüentista seria algum prior uniforme.
Michael R. Chernick
4
Pode ser, às vezes. Você pode pensar em um MLE como a estimativa do MAP usando um uniforme anterior. Mas os MLEs não são a única ferramenta que os freqüentadores usam.
civilstat
Outro conceito relacionado: "anteriores de correspondência" ou "anteriores de correspondência de probabilidade", anteriores específicos projetados no seu intervalo de credibilidade correspondem aproximadamente ao intervalo de confiança freqüente para esse parâmetro específico. Novamente, eles podem ser uniformes, mas não precisam ser. Depende da escolha do parâmetro e de quão boa você deseja que a aproximação seja. Veja, por exemplo, utstat.utoronto.ca/reid/research/vaneeden.pdf1 - α1α1α
civilstat