Por que a estimativa de máxima verossimilhança é considerada uma técnica freqüentista

Estatísticas freqüentistas para mim são sinônimos por tentar tomar decisões que são boas para todas as amostras possíveis. Ou seja, uma regra de decisão freqüentista deve sempre tentar minimizar o risco freqüentista, que depende da função de perda e do verdadeiro estado da natureza :$\delta$$L$$\theta_0$

Como a estimativa de máxima verossimilhança está ligada ao risco freqüentista? Dado que é a técnica de estimativa de pontos mais utilizada pelos frequentistas, deve haver alguma conexão. Até onde eu sei, a estimativa da máxima probabilidade é mais antiga que o conceito de risco freqüentista, mas ainda deve haver alguma conexão por que mais pessoas afirmariam que essa é uma técnica freqüentista?

A conexão mais próxima que eu encontrei é que

"Para modelos paramétricos que satisfazem condições de regularidade fracas, o estimador de probabilidade máxima é aproximadamente minimax" Wassermann 2006, p. 201 "

A resposta aceita vincula a estimativa do ponto de probabilidade máxima mais forte ao risco freqüentista ou fornece uma definição formal alternativa de inferência freqüencial que mostra que o MLE é uma técnica de inferência freqüentista.

Você aplica uma definição relativamente restrita de frequentismo e MLE - se formos um pouco mais generosos e definirmos

• Frequentismo: objetivo de consistência, otimização (assintótica), imparcialidade e taxas de erro controladas sob amostragem repetida, independentemente dos parâmetros verdadeiros

• MLE = estimativa pontual + intervalos de confiança (ICs)

parece claro que o MLE satisfaz todos os ideais freqüentistas. Em particular, os ICs no MLE, como valores-p, controlam a taxa de erro em amostragens repetidas e não fornecem a região de probabilidade de 95% para o verdadeiro valor do parâmetro, como muitas pessoas pensam - portanto, eles são frequentes e freqüentes.

Nem todas essas idéias já estavam presentes no artigo fundador de Fisher de 1922, "Sobre os fundamentos matemáticos da estatística teórica" , mas a idéia de otimalidade e imparcialidade é, e Neyman posteriormente acrescentou a idéia de construir ICs com taxas de erro fixas. Efron, 2013, "Um argumento de 250 anos: Crença, comportamento e autoinicialização" , resume em sua história muito legível do debate bayesiano / freqüentista:

O movimento freqüentador realmente começou a rolar no início dos anos 1900. Ronald Fisher desenvolveu a teoria da máxima verossimilhança da estimativa ótima, mostrando o melhor comportamento possível para uma estimativa, e Jerzy Neyman fez o mesmo para intervalos e testes de confiança. Os procedimentos de Fisher e Neyman se encaixavam quase perfeitamente nas necessidades científicas e nos limites computacionais da ciência do século XX, lançando o bayesianismo em uma existência sombria.

Em relação à sua definição mais restrita - discordo levemente da sua premissa de que a minimização do risco freqüentista (FR) é o principal critério para decidir se um método segue a filosofia freqüentista. Eu diria que o fato de minimizar a FR é uma propriedade desejável segue a filosofia freqüentista, ao invés de precedê-la. Portanto, uma regra de decisão / estimador não precisa minimizar o FR para ser freqüentista, e minimizar o FR também não significa necessariamente que um método seja freqüentista, mas um freqüentador em dúvida preferiria minimizar a FR.

Se olharmos especificamente para o MLE: Fisher mostrou que o MLE é assintoticamente ideal (amplamente equivalente à minimização de FR), e essa foi certamente uma razão para promover o MLE. No entanto, ele sabia que a otimização não se aplicava ao tamanho finito da amostra. Ainda assim, ele ficou satisfeito com esse estimador devido a outras propriedades desejáveis, como consistência, normalidade assintótica, invariância sob transformações de parâmetros, e não vamos esquecer: facilidade de calcular. A invariância, em particular, é enfatizada abundantemente no artigo de 1922 - pela minha leitura, eu diria que manter a invariância sob a transformação de parâmetros e a capacidade de se livrar dos anteriores em geral foram uma das principais motivações na escolha do MLE. Se você quer entender melhor o raciocínio dele, eu realmente recomendo o artigo de 1922,

Basicamente, por duas razões:

• A probabilidade máxima é uma estimativa pontual dos parâmetros do modelo. Nós bayesianos gostamos de distribuições posteriores.
• A probabilidade máxima não assume distribuição prévia . Nós bayesianos precisamos de nossos antecedentes, pode ser informativo ou não informativo, mas precisa existir