Exemplos em que o método dos momentos pode superar a máxima probabilidade em pequenas amostras?

Estimadores de máxima verossimilhança (MLE) são assintoticamente eficientes; vemos o resultado prático, na medida em que eles geralmente se saem melhor do que as estimativas do método dos momentos (MoM) (quando diferem), mesmo em amostras pequenas

Aqui "melhor que" significa no sentido de tipicamente ter menor variação quando ambos são imparciais, e tipicamente menor erro quadrado médio (MSE) em geral.

A questão ocorre, no entanto:

Existem casos em que o MoM pode vencer o MLE - no MSE , digamos - em pequenas amostras?

(onde esta não é uma situação estranha / degenerada - ou seja, considerando que as condições para a existência de ML / são assintoticamente eficientes)

Uma pergunta de acompanhamento seria então 'quão grande pode ser o tamanho pequeno?' - isto é, se houver exemplos, existem alguns que ainda se mantêm em tamanhos de amostra relativamente grandes, talvez até em todos os tamanhos de amostra finitos?

[Posso encontrar um exemplo de um estimador tendencioso que pode superar o ML em amostras finitas, mas não é o MoM.]

---

Nota adicionada retrospectivamente: meu foco aqui é principalmente no caso univariado (que é de fato a origem da minha curiosidade subjacente). Não quero descartar casos multivariados, mas também não quero entrar em discussões prolongadas sobre a estimativa de James-Stein.

Isso pode ser considerado ... trapaça, mas o estimador OLS é um estimador MoM. Considere uma especificação de regressão linear padrão (com regressores estocásticos, para que as magnitudes sejam condicionadas à matriz do regressor) e uma amostra do tamanho . Denota o estimador OLS da variância do termo de erro. É imparcial, entãon s 2 σ $K$$n$$s^2$$\sigma^2$

$$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$$

Considere agora o MLE de . Isto é$\sigma^2$

$$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$$ É tendencioso. Seu MSE é

$$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$$ Expressando o MLE em termos de OLS e usando a expressão para a variação do estimador de OLS, obtemos

⇒HSE( σ 2 H L )=2(n-K)+K

$$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$$ $$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$$

Queremos as condições (se existirem) sob as quais

$$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$$

$$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$$ $$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$$ Simplificando, obtemos É possível que este quadrático em obtenha valores negativos? Precisamos que seu discriminante seja positivo. Temos que é outro quadrático, em neste momento. Esse discriminante é portanto para levar em consideração o fato de que é um número inteiro. Se $$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$$ $K$ $$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$$ $n$ $$\Delta_n = 12^2 - 4^2 = 8\cdot 16$$ $$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$$ $n$$n$está dentro desse intervalo, temos que e o quadrático em leva sempre valores positivos, portanto não podemos obter a desigualdade necessária. Então: precisamos de um tamanho de amostra maior que 12.$\Delta_K <0$$K$

Dado isso, as raízes do quadrático são$K$

$$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$$

No geral: para tamanho de amostra e número de regressores tal que temos Para Por exemplo, se , verifica-se que o número de regressores deve ser para que a desigualdade seja mantida. É interessante que, para pequenos números de regressores, o MLE seja melhor no sentido MSE.$n>12$$K$$\lceil K_1\rceil <K<\lfloor K_2\rfloor$

$$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$$ $n=50$$5<K<47$

ADENDO
A equação para as raízes do quadrante pode ser escrita$K$

$$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$$ que, com uma rápida olhada, acho que implica que a raiz inferior sempre ser (considerando a restrição "valor inteiro"); portanto, o MLE será eficiente em MSE quando os regressores forem de até para qualquer tamanho de amostra (finito).$5$$5$

"Neste artigo, consideramos uma nova parametrização da distribuição Gaussiana Inversa de dois parâmetros. Encontramos os estimadores para parâmetros da distribuição Gaussiana Inversa pelo método dos momentos e pelo método da máxima verossimilhança. Em seguida, comparamos a eficiência da estimadores para os dois métodos com base em seu viés e erro quadrático médio (MSE). Para isso, fixamos valores de parâmetros, executamos simulações e relatamos MSE e viés para estimativas obtidas pelos dois métodos. A conclusão é que, quando o tamanho da amostra é 10, o método dos momentos tende a ser mais eficiente que o método da máxima verossimilhança para estimativas de ambos os parâmetros (lambda e teta) .... " leia mais

Atualmente, não se pode (ou não deve) confiar em tudo que foi publicado, mas a última página do artigo parece promissora. Espero que isso endereça sua nota adicionada retrospectivamente.

De acordo com simulações realizadas por Hosking e Wallis (1987) em "Estimativa de parâmetros e quantis para a distribuição de Pareto generalizada", os parâmetros da distribuição de Pareto generalizada de dois parâmetros fornecidos pelo cdf

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

ou a densidade

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

são mais confiáveis ​​se forem estimadas por meio do MOM em oposição ao ML. Isso vale para amostras de tamanho 500. As estimativas do MOM são fornecidas por

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

e

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

com

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

O artigo contém alguns erros de digitação (pelo menos minha versão). Os resultados para os estimadores do MOM dados acima foram gentilmente fornecidos por "heropup" neste tópico .

Eu encontrei um:

Para a distribuição de potência exponencial assimétrica

$$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$$

os resultados da simulação de Delicado e Goria (2008) sugerem que, para alguns dos parâmetros em amostras menores, o método dos momentos pode superar o MLE; por exemplo, no caso conhecido no tamanho da amostra 10, ao estimar , o MSE do MoM é menor que o do ML.$\theta$$\sigma$

Delicado e Goria (2008),
Uma pequena amostra de comparação dos métodos de máxima verossimilhança, momentos e momentos L para a distribuição de potência exponencial assimétrica,
Journal Computational Statistics & Data Analysis
Volume 52 Edição 3, Janeiro, pp 1661-1673

(veja também http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

O método dos momentos (MM) pode superar a abordagem de máxima verossimilhança (ML) quando é possível especificar apenas alguns momentos da população. Se a distribuição estiver mal definida, os estimadores de ML não serão consistentes.

Assumindo momentos finitos e observações de iid, o MM pode fornecer bons estimadores com boas propriedades assintóticas.

Exemplo: Seja uma amostra iid de , em que é uma função de densidade de probabilidade desconhecida. Defina o ésimo momento e considere que o interesse é estimar o quarto momento .$X_1, \ldots, X_n$$X \sim f$$f: \mathbb{R} \to \mathbb{R}_+$$\nu_k = \int_{\mathbb{R}} x^k f(x)dx$$k$$\nu_4$

Vamos , assumindo que , o teorema do limite central garante que que " " significa "converge na distribuição para" . Além disso, pelo teorema de Slutsky,$\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$$\nu_8 < \infty$

$$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$$ $\stackrel{d}{\to}$

$$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$$ desde (convergência em probabilidade).$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

Ou seja, podemos extrair inferências (aproximadas) para usando a abordagem de momento (para amostras grandes), apenas temos que fazer algumas suposições sobre os momentos de interesse da população. Aqui, os estimadores de probabilidade máxima não podem ser definidos sem conhecer a forma de .$\nu_4$$f$

Um estudo de simulação:

Patriota et al. (2009) realizaram alguns estudos de simulação para verificar as taxas de rejeição de testes de hipóteses em um modelo de erros em variáveis. Os resultados sugerem que a abordagem MM produz taxas de erro sob a hipótese nula mais próxima do nível nominal do que a ML para amostras pequenas.

Nota histórica:

O método dos momentos foi proposto por K. Pearson em 1894 "Contribuições para a teoria matemática da evolução". O método de máxima verossimilhança foi proposto por RA Fisher em 1922 "Sobre os fundamentos matemáticos da estatística teórica". Ambos os artigos foram publicados nas Transações Filosóficas da Sociedade Real de Londres, Série A.

Referência:

Fisher, RA (1922). Sobre os fundamentos matemáticos da estatística teórica, transações filosóficas da Royal Society de Londres, série A, 222, 309-368.

Patriota, AG, Bolfarine, H. de Castro, M (2009). Um modelo heterocedástico de erros estruturais em variáveis ​​com erro de equação, Statistical Methodology 6 (4), 408-423 ( pdf )

Pearson, K (1894). Contribuições para a Teoria Matemática da Evolução, Transações Filosóficas da Sociedade Real de Londres, Série A, 185, 71-110.

Fontes adicionais a favor do MOM:

Hong, HP e W. Ye. 2014. Análise de cargas extremas de neve no solo no Canadá usando registros de profundidade da neve . Natural Hazards 73 (2): 355-371.

O uso de MML pode fornecer previsões irreais se o tamanho da amostra for pequeno (Hosking et al. 1985; Martin e Stedinger 2000).

---

Martins, ES e JR Stedinger. 2000. Estimadores de quantis generalizados de valor extremo generalizado com probabilidade máxima para dados hidrológicos . Pesquisa de Recursos Hídricos 36 (3): 737-744.

Abstrato:

A distribuição de valor extremo generalizado (GEV) de três parâmetros encontrou ampla aplicação para descrever inundações anuais, chuvas, velocidades do vento, alturas das ondas, profundidades da neve e outros máximos. Estudos anteriores mostram que os estimadores de máxima verossimilhança de amostra pequena (MLE) de parâmetros são instáveis ​​e recomendam estimadores de momento L. Pesquisas mais recentes mostram que os estimadores do método dos momentos em quantis apresentam para -0,25 <κ <0,30 menor erro quadrático médio do que momentos L e MLEs. O exame do comportamento dos MLEs em pequenas amostras demonstra que valores absurdos do parâmetro de forma GEV k podem ser gerados. O uso de uma distribuição prévia bayesiana para restringir os valores de k a um intervalo estatisticamente / fisicamente razoável em uma análise de máxima verossimilhança generalizada (GML) elimina esse problema.

Nas seções Introdução e Revisão de Literatura, eles citam artigos adicionais que concluíram que o MOM em alguns casos supera o MLE (novamente modelagem de valores extremos), por exemplo

Hosking et al. [1985a] mostram que os estimadores de parâmetros MLE de amostra pequena são muito instáveis ​​e recomendam estimadores de momento ponderado por probabilidade (PWM) que são equivalentes aos estimadores de momento L [Hosking, 1990]. [...]

Hosking et al. [1985a] mostraram que os estimadores de momentos ponderados em probabilidade (PM) ou momentos L equivalentes (LM) para a distribuição GEV são melhores que os estimadores de máxima verossimilhança (MLE) em termos de viés e variância para tamanhos de amostra variando de 15 a 100. Mais recentemente, Madsen et al. [1997a] mostraram que os estimadores quantílicos do método dos momentos (MOM) têm RMSE (raiz quadrada média quadrada) menor para -0,25 <K <0,30 que LM e MLE ao estimar o evento de 100 anos para amostras de 10-50 . Os MLEs são preferíveis apenas quando K> 0,3 e o tamanho da amostra é modesto (n> = 50).

K (kappa) é o parâmetro de forma do GEV.

papéis que aparecem nas citações:

Hosking J, Wallis J, Wood E (1985) Estimativa da distribuição generalizada de valores extremos pelo método dos momentos ponderados por probabilidade . Technometrics 27: 251–261.

Madsen, H., PF Rasmussen e D. Rosbjerg (1997) Comparação de métodos anuais de séries máximas e séries de duração parcial para modelar eventos hidrológicos extremos , 1, Modelagem no local, Water Resour. Res. 33 (4), 747-758.

Hosking, JRM, momentos L: análise e estimativa de distribuições usando combinações lineares de estatísticas de pedidos , JR Stat. Soc. Ser. B, 52, 105-124, 1990.

---

Além disso, tenho a mesma experiência concluída nos artigos acima, no caso de modelar eventos extremos com tamanho de amostra pequeno e moderado (<50-100, o que é típico), o MLE pode fornecer resultados irreais, a simulação mostra que o MOM é mais robusto e tem RMSE menor.

No processo de responder a isso: Estimando parâmetros para um binômio , deparei-me com este artigo:

Ingram Olkin, A John Petkau, James V Zidek: Uma comparação dos estimadores de N para a Distribuição Binomial. Jasa 1981.

que dá um exemplo em que o método dos momentos, pelo menos em alguns casos, supera a probabilidade máxima. O problema é a estimativa de na distribuição binomial onde ambos os parâmetros são desconhecidos. Aparece, por exemplo, ao tentar estimar a abundância de animais quando você não pode ver todos os animais, e a probabilidade de avistar também é desconhecida.Bin ( N , p ) $N$$\text{Bin}(N,p)$$p$