Quando a probabilidade máxima e o método dos momentos produzem os mesmos estimadores?

17

Fiz essa pergunta outro dia e nunca a havia considerado antes.

Minha intuição vem das vantagens de cada estimador. A probabilidade máxima é de preferência quando estamos confiantes no processo de geração de dados porque, diferentemente do método dos momentos, ele utiliza o conhecimento de toda a distribuição. Como os estimadores do MoM usam apenas as informações contidas nos momentos, parece que os dois métodos devem produzir as mesmas estimativas quando as estatísticas suficientes para o parâmetro que estamos tentando estimar são exatamente os momentos dos dados.

Eu verifiquei esse resultado com algumas distribuições. Normal (média e variância desconhecidas), exponencial e Poisson têm estatísticas suficientes iguais aos seus momentos e têm os estimadores MLEs e MoM os mesmos (não estritamente verdade para coisas como Poisson, onde existem vários estimadores MoM). Se olharmos para um uniforme , a estatística suficiente para é e os estimadores MoM e MLE são diferentes.(0 0,θ)θmax(X1,,XN)

Eu pensei que talvez isso fosse uma peculiaridade da família exponencial, mas para um Laplace com média conhecida, a estatística suficiente é 1n|XEu|e o estimador MLE e MoM para a variância não são iguais.

Até agora, fui incapaz de mostrar qualquer tipo de resultado em geral. Alguém sabe de condições gerais? Ou mesmo um exemplo contrário me ajudaria a refinar minha intuição.

Parte de cima
fonte
4
MM e MLE coincidem com o parâmetro canônico em famílias exponenciais. Mas fazer uma transformação geralmente significa que você perde essa equivalência (como também sugerido pela resposta de Xi'an).
21717 hejseb

Respostas:

16

Uma resposta geral é que um estimador baseado em um método de momentos não é invariável por uma mudança bijetiva de parametrização, enquanto um estimador de probabilidade máxima é invariável. Portanto, eles quase nunca coincidem. (Quase nunca em todas as transformações possíveis.)

Além disso, como afirmado na pergunta, existem muitos estimadores de MoM. Uma infinidade deles, na verdade. Mas eles são todos baseados na distribuição empírica, , que pode ser vista como um MLE não paramétrico de , embora isso não esteja relacionado à questão.F^F

Na verdade, uma maneira mais apropriada de enquadrar a questão seria perguntar quando um estimador de momento é suficiente, mas isso força a distribuição dos dados de uma família exponencial, pelo lema de Pitman-Koopman, um caso em que a resposta já está conhecido.

Nota: Na distribuição de Laplace, quando a média é conhecida, o problema é equivalente a observar os valores absolutos, que são variáveis ​​exponenciais e parte de uma família exponencial.

Xi'an
fonte
1
Existe em geral uma parametrização para a qual MM e MLE são iguais?
cabeça para
1
Para famílias exponenciais, a parametrização média leva a uma igualdade. Fora das famílias exponenciais, não tenho tanta certeza.
Xian