Por que precisamos de um estimador para ser consistente?

15

Eu acho que já entendi a definição matemática de um estimador consistente. Corrija-me se eu estiver errado:

Wn é um estimador consistente para ifθϵ>0

limnP(|Wnθ|>ϵ)=0,θΘ

Onde, Θ é o Espaço Paramétrico. Mas quero entender a necessidade de um estimador ser consistente. Por que um estimador que não é consistente é ruim? Você poderia me dar alguns exemplos?

Eu aceito simulações em R ou python.

Fam
fonte
3
Um estimador que não é consistente nem sempre é ruim. Tomemos, por exemplo, um estimador inconsistente, mas imparcial. Artigo See da Wikipedia sobre Consistente Estimador en.wikipedia.org/wiki/Consistent_estimator , especialmente a seção sobre Viés contra Consistência
compbiostats
A consistência é, grosso modo, um comportamento assintótico ideal de um estimador. Escolhemos um estimador que se aproxima do valor real de θ no longo prazo. Como isso é apenas convergência em probabilidade, esse encadeamento pode ser útil: stats.stackexchange.com/questions/134701/… .
StubbornAtom
@StubbornAtom, tomarei o cuidado de chamar um estimador tão consistente de "ideal", pois esse termo geralmente é reservado para estimadores que também são, em certo sentido, eficientes.
Christoph Hanck 16/01

Respostas:

22

Se o estimador não for consistente, não convergirá para o valor verdadeiro em probabilidade . Em outras palavras, sempre há uma probabilidade de que seu estimador e seu valor verdadeiro tenham uma diferença, independentemente de quantos pontos de dados você tenha. Isso é realmente ruim, porque mesmo se você coletar uma quantidade imensa de dados, sua estimativa sempre terá uma probabilidade positiva de ser diferente do valor real. Na prática, você pode considerar essa situação como se estivesse usando um estimador de uma quantidade tal que mesmo o levantamento de toda a população, em vez de uma pequena amostra, não o ajudasse.ϵ>0

gunes
fonte
21

Considere observações da distribuição padrão de Cauchy, que é igual à distribuição t de Student com 1 grau de liberdade. As caudas dessa distribuição são suficientemente pesadas que não têm significado; a distribuição está centrada na sua medianan=10000η=0.

Uma sequência de amostra significa que não é consistente para o centro da distribuição de Cauchy. Grosso modo, a dificuldade é que observações muito extremas (positivas ou negativas) ocorrem com regularidade suficiente para que não haja chance deAj=1ji=1jXiXiAjη=0.AjAj convergir para (Os não demoram a convergir, eles nunca A distribuição de é novamente Cauchy padrão [ prova ].)η=0.AjAj

Por outro lado, em qualquer etapa de um processo contínuo de amostragem, cerca de metade das observações Xi se situam em ambos os lados de modo que a sequência das medianas da amostra converge paraη,Hjη.

Essa falta de convergência de e convergência de é ilustrada pela seguinte simulação.AjHj

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

insira a descrição da imagem aqui

Aqui está uma lista de etapas nas quais Você pode ver o efeito de algumas dessas observações extremas nas médias correntes no gráfico à esquerda (nas linhas pontilhadas vermelhas verticais).|Xi|>1000.

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Consistência é importante na estimativa: na amostragem de uma população de Cauchy, a média da amostra de uma amostra den=10000 observações não é melhor para estimar o centro que apenas uma observação. Por outro lado, a mediana consistente da amostra converge para portanto amostras maiores produzem melhores estimativas.ηη,

BruceET
fonte
1
Apertando um pouco, mas sua simulação ilustra a falha da amostra em convergir quase certamente, não em probabilidade, para o centro de Cauchy (consistência forte versus fraca).
aleshing 22/07/19
9

Um exemplo realmente simples de por que é importante pensar em consistência, que eu acho que não recebe atenção suficiente, é o de um modelo simplificado demais.

Como um exemplo teórico, suponha que você desejasse ajustar um modelo de regressão linear em alguns dados, nos quais os efeitos reais eram na verdade não lineares. Então, suas previsões não poderão ser consistentes para a verdadeira média de todas as combinações de covariáveis, enquanto uma mais flexível poderá. Em outras palavras, o modelo simplificado terá deficiências que não podem ser superadas com o uso de mais dados.

Cliff AB
fonte
Isso não é necessariamente verdade, porque os modelos de regressão linear "sempre se ajustam", no sentido de que . você poderia argumentar que o modelo está bom, mas o "erro" está na verdade assumindo que os resíduos têm uma distribuição normal iid. yi=y^i+e^i
probabilityislogic
8

O @BruceET já deu uma excelente resposta técnica, mas eu gostaria de acrescentar um ponto sobre a interpretação de tudo isso.

Um dos conceitos fundamentais da estatística é que, à medida que o tamanho da amostra aumenta, podemos chegar a conclusões mais precisas sobre a distribuição subjacente. Você pode pensar nisso como a noção de que a coleta de muitas amostras elimina o jitter aleatório nos dados, para que possamos ter uma noção melhor da estrutura subjacente.

São abundantes exemplos de teoremas nesse sentido, mas o mais conhecido é a Lei dos Grandes Números, afirmando que, se tivermos uma família de variáveis ​​aleatórias iid (Xi)iN E[X1]<

1nk=1nXkE[X]   a.s.

Agora, exigir que um estimador seja consistente é exigir que ela também siga esta regra: Como seu trabalho é estimar um parâmetro desconhecido, gostaríamos que ele convergisse para esse parâmetro (leia-se: estimar esse parâmetro arbitrariamente bem) como nossa amostra. tamanho tende ao infinito.

A equação

limnP(|Wnθ|>ϵ)=0,ϵ>0 θ Θ

Wnθ

[θε,θ+ε]θ

Marc Vaisband
fonte