Teoremas gerais de consistência e normalidade assintótica de máxima verossimilhança

10

Estou interessado em uma boa referência para resultados relativos a propriedades assintóticas de estimadores de máxima verossimilhança. Considere um modelo que é uma densidade dimensional e é o MLE com base em uma amostra de que é o valor "verdadeiro" de . Estou interessado em duas irregularidades.{fn(θ):θΘ,nN}fn(xθ)nθ^nX1,,Xnfn(θ0)θ0θ

  1. Os dados não são iid e, como resultado, as informações de Fisher sobre acumuladas a uma taxa mais lenta que .X1,,Xnθn
  2. Θ é um conjunto delimitado e com probabilidade positiva fica no limite. O limite corresponde a um modelo "mais simples" e, portanto, há um interesse particular em saber se está ou não no limite.θ^nθ0

Minhas perguntas particulares são

  1. Deixar denotar as informações de Fisher observadas correspondentes a e supor que esteja no interior de . Sob que condições é assintoticamente normal como ? Em particular, as condições de regularidade são semelhantes às usuais, com a modificação relevante sendo em algum sentido?Jn(θ)θθ0Θ

    [Jn(θ^n)]1/2(θ^nθ0)
    nJn(θ^n)
  2. Suponha que esteja no limite e lembre-se novamente de que acontece com probabilidade positiva - por concretude, em um modelo de efeitos mistos podemos ter . Sob quais condições (quase certamente ou com probabilidade) e sob quais condições eventualmente (isso provavelmente falha no modelo de efeitos mistos, mas corresponde às propriedades "oracle" para o LASSO e estimadores relacionados, então talvez seja pedir demais resultados gerais)?θ0θ^n=θ0Yij=μ+βi+ϵijσ^β2=0θ^nθ0θ^n=θ0

Novamente, apenas um ponteiro para um texto com resultados nesse nível de generalidade seria muito apreciado.

cara
fonte

Respostas:

7

Referências pelas quais você pode começar:

Para o caso em que o parâmetro true está no limite :
Moran (1971) "Estimativa de máxima verossimilhança em condições fora do padrão"

Steven G. Self e Kung-Yee Liang (1987) "Propriedades assintóticas de estimadores de máxima verossimilhança e testes de razão de verossimilhança sob condições não-padrão"

Ziding Feng e Charles E. McCulloch (1990) "Inferência Estatística Utilizando a Estimativa de Máxima Verossimilhança e a Razão de Verossimilhança Generalizada quando o Parâmetro Verdadeiro Está no Limite do Espaço de Parâmetros"

Para RVs não idênticos, mas independentes :
Bruce Hoadley (1971) "Propriedades assintóticas dos estimadores de máxima verossimilhança para o caso independente não identicamente distribuído"

Para RVs dependentes:
Martin J. Crowder (1976) "Estimativa de máxima verossimilhança para observações dependentes"

Além disso

Huber, PJ (1967). "O comportamento das estimativas de máxima verossimilhança em condições fora do padrão" . Em Anais do quinto simpósio de Berkeley sobre estatística matemática e probabilidade (Vol. 1, No. 1, pp. 221-233).

Atualização 17-03-2017: conforme sugerido em um comentário, o seguinte documento pode ser referenciado aqui

Andrews, DW (1987). Consistência em modelos econométricos não lineares: uma lei uniforme genérica de grandes números. Econometria: Jornal da Sociedade Econométrica, 1465-1471.

Alecos Papadopoulos
fonte
Dê uma olhada na discussão aqui: andrewgelman.com/2012/07/05/…
kjetil b halvorsen
11
(+1) Eu tive bom uso dessas referências. Pode ser útil incluir também Andrews, 1987 ( jstor.org/stable/1913568 ). Em particular, "... ressalta que um LLN uniforme frequentemente usado, devido a Hoadley (1971, Teorema A.5), se aplica apenas a variáveis ​​aleatórias limitadas".
Ekvall