Qual é a diferença entre um estimador consistente e um estimador imparcial?

125

Estou realmente surpreso que ninguém parece ter perguntado isso já ...

Ao discutir estimadores, dois termos freqüentemente usados são "consistentes" e "imparciais". Minha pergunta é simples: qual é a diferença?

As definições técnicas precisas desses termos são bastante complicadas e é difícil ter uma idéia intuitiva do que elas significam . Posso imaginar um bom estimador e um mau avaliador, mas estou tendo problemas para ver como qualquer estimador poderia satisfazer uma condição e não a outra.

unbiased-estimator estimators consistency MathematicsOrchid
fonte

Você já viu a primeira figura no artigo da Wikipedia sobre estimadores consistentes , o que explica especificamente essa distinção?

whuber

Eu li os artigos por consistência e preconceito, mas ainda não entendo a distinção. (A figura que você se refere a alegações de que o estimador é consistente, mas tendenciosa, mas não explica por que .)

MathematicalOrchid

Em que parte da explicação você precisa de ajuda? A legenda indica que cada um dos estimadores na sequência é tendencioso e também explica por que a sequência é consistente. Você precisa de uma explicação de como o viés nesses estimadores é aparente na figura?

whuber

+1 O tópico de comentários após uma dessas respostas é muito esclarecedor, tanto pelo que revela sobre o assunto quanto como um exemplo interessante de como uma comunidade on-line pode trabalhar para expor e corrigir equívocos.

whuber

Relacionados: stats.stackexchange.com/questions/173152/...

Kjetil b Halvorsen

Respostas:

126

Para definir os dois termos sem usar muita linguagem técnica:

Um estimador é consistente se, à medida que o tamanho da amostra aumenta, as estimativas (produzidas pelo estimador) "convergem" para o valor real do parâmetro que está sendo estimado. Para ser um pouco mais preciso, a consistência significa que, à medida que o tamanho da amostra aumenta, a distribuição amostral do estimador se concentra cada vez mais no valor real do parâmetro.
Um estimador é imparcial se, em média, atingir o valor real do parâmetro. Ou seja, a média da distribuição amostral do estimador é igual ao valor real do parâmetro.
Os dois não são equivalentes: A imparcialidade é uma afirmação sobre o valor esperado da distribuição amostral do estimador. Consistência é uma afirmação sobre "para onde está indo a distribuição amostral do estimador" à medida que o tamanho da amostra aumenta.

Certamente é possível que uma condição seja satisfeita, mas não a outra - darei dois exemplos. Para ambos os exemplos considerar uma amostra de uma população . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Imparcial, mas não consistente: suponha que você esteja estimando . Então é um estimador imparcial de já que . Porém, não é consistente, pois sua distribuição não se concentra mais em torno de medida que o tamanho da amostra aumenta - é sempre ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Consistente, mas não imparcial: suponha que você esteja estimando . O estimador da probabilidade máxima é $\sigma^2$ onde é a média da amostra. É um facto que
${\hat{σ}}^{2} = \frac{1}{n} \sum_{Eu = 1}^{n} (X_{Eu} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ or que pode ser derivado utilizando a informaçãoaqui. Portantoé polarizado para qualquer tamanho de amostra finito. Também pode derivar facilmente que $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ A partir desses fatos, podemos informalmente ver que a distribuição de $v uma r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ está se tornando mais e mais concentrado em como o tamanho da amostra aumenta uma vez que o médio está convergindo para ea variância está convergindo para . (Nota:Isso constitui uma prova de consistência, usando o mesmo argumento usado na respostaaqui) $\hat{\sigma}^2$ $\sigma^2$ $\sigma^2$ $0$

Macro
fonte

(+1) Nem todos os MLEs são consistentes: o resultado geral é que existe uma subsequência consistente na sequência dos MLEs. Para consistência adequada, são necessários alguns requisitos adicionais, por exemplo, identificabilidade. Exemplos de MLEs que não são consistentes são encontrados em certos modelos de erros nas variáveis (onde o "máximo" acaba sendo um ponto de sela).

MånsT

Bem, os ELE MLEs que mencionei talvez não sejam bons exemplos, pois a função de probabilidade é ilimitada e não existe um máximo. Eles são bons exemplos de como a abordagem de ML pode falhar :) Lamento não poder fornecer um link relevante no momento - estou de férias.

MånsT

Obrigado @ MånsT. As condições necessárias foram descritas no link, mas isso não ficou claro no texto.

Macro

σ^{2}

$\sigma^2$

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

A consistência de um estimador significa que, à medida que o tamanho da amostra aumenta, a estimativa se aproxima cada vez mais do valor real do parâmetro. A imparcialidade é uma propriedade finita da amostra que não é afetada pelo aumento do tamanho da amostra. Uma estimativa é imparcial se seu valor esperado for igual ao valor verdadeiro do parâmetro. Isso será verdadeiro para todos os tamanhos de amostra e é exato, enquanto a consistência é assintótica e apenas é aproximadamente igual e não exata.

$n$

Atualize após a discussão nos comentários com @cardinal e @Macro: Conforme descrito abaixo, existem casos aparentemente patológicos em que a variação não precisa ir para 0 para que o estimador seja fortemente consistente e o viés nem precisa ir para 0 também.

Michael Chernick
fonte

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

n

$n$

Michael, o corpo da sua resposta é muito bom; Penso que a confusão foi introduzida pelo seu primeiro comentário, o que leva a duas afirmações que são claramente falsas e potenciais pontos de confusão. (De fato, muitos estudantes se afastam de uma aula introdutória de estatística de pós-graduação com precisamente esses conceitos errôneos, devido ao delineamento deficiente entre os diferentes modos de convergência e seu significado. Seu último comentário pode ser considerado um pouco severo.)

cardeal

Infelizmente, as duas primeiras frases do seu primeiro comentário e o segundo comentário inteiro são falsas. Receio, porém, que não seja proveitoso tentar convencê-lo mais desses fatos.

cardeal

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$

-5

Consistência: muito bem explicada antes [conforme o tamanho da amostra aumenta, as estimativas (produzidas pelo estimador) "convergem" para o valor real do parâmetro sendo estimado]

Imparcialidade: satisfaz as suposições de 1 a 5 MLR conhecidas como Teorema de Gauss-Markov

linearidade,
amostragem aleatória
expectativa de erro médio condicional zero
sem colinearidade perfeita
homoskedasticity

Diz-se então que o estimador é AZUL (melhor estimador linear imparcial

Nikolina Langura
fonte