O MLE de assintoticamente normal quando ?

10

Suponha que tenha o pdf(X,Y)

fθ(x,y)=e(x/θ+θy)1x>0,y>0,θ>0

Densidade da amostra extraída dessa população é, portanto,(X,Y)=(Xi,Yi)1in

gθ(x,y)=i=1nfθ(xi,yi)=exp[i=1n(xiθ+θyi)]1x1,,xn,y1,,yn>0=exp[nx¯θθny¯]1x(1),y(1)>0,θ>0

O estimador de probabilidade máxima de pode ser derivado comoθ

θ^(X,Y)=X¯Y¯

Desejo saber se a distribuição limitadora deste MLE é normal ou não.

É claro que uma estatística suficiente para base na amostra é .θ(X¯,Y¯)

Agora, eu diria que o MLE é assintoticamente normal, sem dúvida, se fosse um membro da família exponencial regular de um parâmetro. Não creio que seja esse o caso, em parte porque temos uma estatística bidimensional suficiente para um parâmetro unidimensional (como na distribuição , por exemplo).N(θ,θ2)

Usando o fato de que e são de fato variáveis ​​exponenciais independentes, posso mostrar que a distribuição exata de é tal queXYθ^

θ^θ=dF, where FF2n,2n

Não posso prosseguir para encontrar a distribuição limitadora daqui.

Em vez disso, posso argumentar pelo WLLN que e , de modo que .X¯PθY¯P1/θθ^Pθ

Isso me diz que converge na distribuição para . Mas isso não é uma surpresa, uma vez que é um 'bom' estimador de . E esse resultado não é forte o suficiente para concluir se algo como é assintoticamente normal ou não. Também não pude apresentar um argumento razoável usando o CLT.θ^θθ^θn(θ^θ)

Portanto, resta uma questão de saber se a distribuição pai aqui satisfaz as condições de regularidade para que a distribuição limitadora do MLE seja normal.

Teimoso
fonte
Empiricamente, parece estar muito próximo do normal. Você pode achar mais fácil definir como (é apenas um fator de escala) e depois considerar se a distribuição da raiz quadrada da razão da média amostral das variáveis ​​aleatórias exponenciais iid é assintoticamente normal. Usando o método delta, isso corresponde à distribuição da razão da média amostral das variáveis ​​aleatórias exponenciais iid serem assintoticamente normais. E isso corresponde à distribuição da razão de duas variáveis ​​aleatórias gama iid sendo assintoticamente normais à medida que o parâmetro de forma aumenta. 1θ1
Henry
A normalidade assintótica dos MLEs não tem nada a ver com famílias exponenciais. Intuitivamente, para manter a normalidade assintótica, você precisa apenas garantir que não haja chance de a solução estar próxima do limite do espaço do parâmetro.
whuber
@whuber Até onde eu sei, os pdfs que são membros da família exponencial canônica quase sempre têm MLEs assintoticamente normais (não que isso seja devido à família exp). Essa é a conexão que eu estava tentando apontar.
StubbornAtom
11
Certo: mas a conexão é unidirecional. Os resultados assintóticos para o MLE são muito mais gerais e, portanto, eu estava tentando sugerir que olhar nessa direção geral, em vez de focar nas propriedades das famílias exponenciais, poderia ser uma investigação mais proveitosa.
whuber
Uma prova usando o método multivariado CLT e delta também é possível, como é feito aqui .
StubbornAtom

Respostas:

3

Uma prova direta da normalidade assintótica:

A probabilidade de log aqui é

L=nx¯θθny¯

Os primeiro e segundo derivativos são

Lθ=nx¯θ2ny¯,2Lθ2=2nx¯θ3

O MLE satisfazθ^n

L(θ^n)θ=0

Aplicando uma expansão de valor médio em torno do valor verdadeiro , temosθ0

L(θ^n)θ=L(θ0)θ+2L(θ~n)θ2(θ^nθ0)=0

para alguns entre e . Reorganizando, temos,θ~nθ^nθ0

(θ^nθ0)=(2L(θ~n)θ2)1L(θ0)θ

Mas, no nosso caso de parâmetro único, o inverso é apenas o recíproco, inserindo também as expressões específicas das derivadas,

(θ^nθ0)=θ~n32nx¯(nx¯θ02ny¯)

n(θ^nθ0)=θ~n32x¯θ02n(x¯θ02y¯)

n(θ^nθ0)=θ~n32x¯θ02(n1/2i=1n(xiθ02yi))

A variação da soma é

Var(i=1n(xiθ02yi))=2nθ02

Manipulando a expressão que podemos escrever, usando para a soma dos elementos iid,Sn

n(θ^nθ0)=(θ~n32x¯θ0)i=1n(xiθ02yi)n2θ0

n(θ^nθ0)=(θ~n32x¯θ0)SnVar(Sn)

disso, temos , então . Portanto, temos o assunto de um CLT clássico e podemos verificar se a condição de Lindeberg está satisfeita. Segue queE(xiθ02yi)=0E(Sn)=0

SnVar(Sn)dN(0,1)

Devido à consistência do estimador, também temos

(θ~n32x¯θ0)pθ02

e pelo Teorema de Slutsky chegamos a

n(θ^nθ0)dN(0,θ02/2)

Agradável. Dobrar as informações, metade da variação (em comparação com o caso em que estimamos base em uma amostra de uma única variável aleatória).θ0

PS: O fato de que nas expressões acima aparece no denominador, aponta para o comentário de @ whuber de que a normalidade assintótica do MLE precisa que o parâmetro desconhecido esteja longe do limite do espaço do parâmetro (no nosso caso, longe de zero).θ0

Alecos Papadopoulos
fonte
Desculpe pelo atraso na resposta. Durante todo esse tempo, fiquei pensando se essa é uma família exponencial curvada e se o MLE pode se comportar de maneira diferente.
StubbornAtom
11
@StubbornAtom A normalidade assintótica certamente se perde quando o parâmetro sob estimativa está no limite do parâmetro (um resultado bastante intuitivo, se você pensar bem).
Alecos Papadopoulos