O MLE de assintoticamente normal quando ?

Suponha que tenha o pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Densidade da amostra extraída dessa população é, portanto, $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

O estimador de probabilidade máxima de pode ser derivado como $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Desejo saber se a distribuição limitadora deste MLE é normal ou não.

É claro que uma estatística suficiente para base na amostra é . $\theta$ $(\overline X,\overline Y)$

Agora, eu diria que o MLE é assintoticamente normal, sem dúvida, se fosse um membro da família exponencial regular de um parâmetro. Não creio que seja esse o caso, em parte porque temos uma estatística bidimensional suficiente para um parâmetro unidimensional (como na distribuição , por exemplo). $N(\theta,\theta^2)$

Usando o fato de que e são de fato variáveis exponenciais independentes, posso mostrar que a distribuição exata de é tal que $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Não posso prosseguir para encontrar a distribuição limitadora daqui.

Em vez disso, posso argumentar pelo WLLN que e , de modo que . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Isso me diz que converge na distribuição para . Mas isso não é uma surpresa, uma vez que é um 'bom' estimador de . E esse resultado não é forte o suficiente para concluir se algo como é assintoticamente normal ou não. Também não pude apresentar um argumento razoável usando o CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Portanto, resta uma questão de saber se a distribuição pai aqui satisfaz as condições de regularidade para que a distribuição limitadora do MLE seja normal.

maximum-likelihood convergence exponential asymptotics central-limit-theorem Teimoso
fonte

Empiricamente, parece estar muito próximo do normal. Você pode achar mais fácil definir como (é apenas um fator de escala) e depois considerar se a distribuição da raiz quadrada da razão da média amostral das variáveis aleatórias exponenciais iid é assintoticamente normal. Usando o método delta, isso corresponde à distribuição da razão da média amostral das variáveis aleatórias exponenciais iid serem assintoticamente normais. E isso corresponde à distribuição da razão de duas variáveis aleatórias gama iid sendo assintoticamente normais à medida que o parâmetro de forma aumenta.

θ

$\theta$

1

$1$

Henry

A normalidade assintótica dos MLEs não tem nada a ver com famílias exponenciais. Intuitivamente, para manter a normalidade assintótica, você precisa apenas garantir que não haja chance de a solução estar próxima do limite do espaço do parâmetro.

whuber

@whuber Até onde eu sei, os pdfs que são membros da família exponencial canônica quase sempre têm MLEs assintoticamente normais (não que isso seja devido à família exp). Essa é a conexão que eu estava tentando apontar.

StubbornAtom

Certo: mas a conexão é unidirecional. Os resultados assintóticos para o MLE são muito mais gerais e, portanto, eu estava tentando sugerir que olhar nessa direção geral, em vez de focar nas propriedades das famílias exponenciais, poderia ser uma investigação mais proveitosa.

whuber

Uma prova usando o método multivariado CLT e delta também é possível, como é feito aqui .

StubbornAtom

Respostas:

Uma prova direta da normalidade assintótica:

A probabilidade de log aqui é

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Os primeiro e segundo derivativos são

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

O MLE satisfaz $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Aplicando uma expansão de valor médio em torno do valor verdadeiro , temos $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

para alguns entre e . Reorganizando, temos, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Mas, no nosso caso de parâmetro único, o inverso é apenas o recíproco, inserindo também as expressões específicas das derivadas,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

A variação da soma é

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipulando a expressão que podemos escrever, usando para a soma dos elementos iid, $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

disso, temos , então . Portanto, temos o assunto de um CLT clássico e podemos verificar se a condição de Lindeberg está satisfeita. Segue que $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Devido à consistência do estimador, também temos

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

e pelo Teorema de Slutsky chegamos a

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Agradável. Dobrar as informações, metade da variação (em comparação com o caso em que estimamos base em uma amostra de uma única variável aleatória). $\theta_0$

PS: O fato de que nas expressões acima aparece no denominador, aponta para o comentário de @ whuber de que a normalidade assintótica do MLE precisa que o parâmetro desconhecido esteja longe do limite do espaço do parâmetro (no nosso caso, longe de zero). $\theta_0$

Alecos Papadopoulos
fonte

Desculpe pelo atraso na resposta. Durante todo esse tempo, fiquei pensando se essa é uma família exponencial curvada e se o MLE pode se comportar de maneira diferente.

StubbornAtom

@StubbornAtom A normalidade assintótica certamente se perde quando o parâmetro sob estimativa está no limite do parâmetro (um resultado bastante intuitivo, se você pensar bem).

Alecos Papadopoulos