Estimador de máxima verossimilhança - intervalo de confiança

12

Como posso construir um intervalo de confiança assintótica para um parâmetro real, iniciando no MLE para esse parâmetro?

Fabrizio
fonte
Uma maneira de abordar esse problema é usar o método delta: en.wikipedia.org/wiki/Delta_method
Notei há votações para fechar esta questão muito ampla, mas não é um teorema geral sobre o comportamento assintótico de mles que podem ser sucintamente. Eu coloquei uma resposta concisa que vou expandir um pouco mais tarde.
Scortchi - Restabelece Monica

Respostas:

13

Use o fato de que, para uma amostra iid de tamanho , dadas algumas condições de regularidade, o MLE é um estimador consistente do parâmetro verdadeiro e sua distribuição assintoticamente Normal, com variação determinada pelo inverso do parâmetro Informações de Fisher:q q 0nθ^θ0

I1(θ0)I(θ)

n(θ^θ0)N(0,1I1(θ0))
onde é a informação de Fisher de uma única amostra. As informações observadas no MLE tendem às informações esperadas assintoticamente, para que você possa calcular (digamos 95%) os intervalos de confiança comI1(θ0)I(θ^)

θ^±1.96nI1(θ^)

Por exemplo, se é uma variável Poisson truncada com zero, você pode obter uma fórmula para as informações observadas em termos do MLE (que você deve calcular numericamente): f ( x ) = e - θ θ xX

f(x)=eθθxx!(1eθ)

(θ)=θ+xlogθlog(1eθ)

d(θ)dθ=1+xθeθ1eθ

I1(θ^)=d2(θ^)(dθ^)2=xθ^eθ^(1eθ^)2

Casos notáveis ​​excluídos pelas condições de regularidade incluem aqueles em que

  • o parâmetro determina o suporte dos dados, por exemplo, amostragem de uma distribuição uniforme entre nada eθθθ
  • o número de parâmetros incômodos aumenta com o tamanho da amostra
Scortchi - Restabelecer Monica
fonte
Esse método se aplica sem modificações quando há restrições em , por exemplo, ? Que tal um MLE para parâmetros , tal que e ? θ [ 0 , 1 ] N θ i i = 0 , . . . , N - 1 N - 1 i = 0 θ i = 1 θ i[ 0 , 1 ]θθ[0,1]Nθii=0,...,N1i=0N1θi=1θi[0,1]
5134148_04_03_03-de-
11
Se , ou seja, o valor verdadeiro não é igual a um dos limites. θ(0,1)
Scortchi - Restabelece Monica
Se e, não significaria que a aproximação normal não é aplicável e preciso de mais amostras? σ ( θ ) > | q |θ(0,1)σ(θ^)>|θ^|
Quant_dev 8/12/14
Sim, é apenas um intervalo de confiança assintótica.
Scortchi - Restabelece Monica
11
@quant_dev: Não: você procuraria uma transformação dos parâmetros que tornassem a aproximação Normal decente - ou usaria outro método.
Scortchi - Restabelece Monica