Como exatamente os estatísticos concordaram em usar (n-1) como o estimador imparcial da variação populacional sem simulação?

67

A fórmula para variação da computação possui no denominador: $(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Eu sempre me perguntei o porquê. No entanto, ler e assistir a alguns bons vídeos sobre "por que" é, ao que parece, é um bom estimador imparcial da variação da população. Enquanto subestima e superestima a variação populacional. $(n-1)$ $n$ $(n-2)$

O que estou curioso para saber é que, na era de nenhum computador, como exatamente essa escolha foi feita? Existe uma prova matemática real comprovando isso ou foram puramente empíricos e estatísticos fizeram MUITOS cálculos à mão para apresentar a "melhor explicação" da época?

Como os estatísticos inventaram essa fórmula no início do século 19 com a ajuda de computadores? Manual ou há mais do que aparenta?

variance unbiased-estimator proof history Doutorado
fonte

13

Suponho que você queira dizer " sem a ajuda de computadores". A resposta é - talvez sem surpresa - pelo uso da álgebra. A derivação é bastante direta e, em muitos lugares, é comum que os estudantes de estatística a derivem como exercício / aprendam como graduandos.

Glen_b

Eu acho que isso dá uma boa explicação: en.wikipedia.org/wiki/Variance#Sample_variance

Verena Haunschmid

5

Muito relacionado: por que o desvio padrão da amostra é um estimador enviesado de

σ

$\sigma$ e uma explicação intuitiva para dividir por ao calcular sd?

n - 1

$n-1$ .

whuber

Editei sua fórmula para usar e pois o no denominador refere-se à variação de amostra (símbolos latinos) e não à variação populacional (símbolos gregos).

s^{2}

$s^{2}$

\bar{x}

$\bar{x}$

n - 1

$n-1$

Alexis

40

A correção é chamada correção de Bessel e possui uma prova matemática. Pessoalmente, fui ensinado da maneira mais fácil: usar é como você corrige o viés de (veja aqui ). $n-1$ $E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

Você também pode explicar a correção com base no conceito de graus de liberdade; a simulação não é estritamente necessária.

mugen
fonte

15

A alternativa 3 da prova tem uma bela explicação intuitiva que mesmo um leigo pode entender. A idéia básica é que a média da amostra não seja igual à média da população. Suas observações estarão naturalmente mais próximas da média da amostra do que da média da população, e isso acaba subestimando esses termos com termos . Isso provavelmente é óbvio para a maioria das pessoas, mas eu nunca pensei sobre a "intuição" sobre por que a variação da amostra tendenciosa é tendenciosa até agora. Eu só aprendi as provas formais.

(x_{i} - μ)^{2}

$(x_i - \mu)^2$

(x_{i} - \bar{x})^{2}

$(x_i - \bar{x})^2$

WetlabStudent

2

Existe também uma abordagem geométrica para corrigir o n-1 (explicado muito bem em Saville e Wood: Métodos Estatísticos: A Abordagem Geométrica). Em breve: uma amostra de n pode ser considerada como um espaço de dados n-dimensional. Os vetores de pontos de amostra são adicionados a um vetor observado que pode ser decomposto em um vetor modelo com a dimensão p correspondente ao parâmetro p e um vetor de erro com dimensão np. O rompimento pitagórico correspondente do vetor de erro tem np quadrados cuja média é uma medida para a variação.

Giordano

Vou dar-lhe um link bonita que contém uma breve explicação: en.wikipedia.org/wiki/Bias_of_an_estimator

Christina

Você pode explicar por que, na prova (alternativa 3), assumimos que as variações reais e tendenciosas são calculadas usando 's? O problema de diferentes variações surge quando temos uma população (com variação verdadeira) e uma amostra (com variação polarizada). Mas se calcularmos a variação nos mesmos dados, ou seja , por que eles deveriam diferir? Lá pensamos em como uma variação verdadeira calculada usando exatamente o mesmo que o tendencioso . Não posso concordar com esta prova. Por favor, ajude, o que estou perdendo?

n

$n$

x

$x$

x_{1}, x_{2}, . . ., x_{n}

$x_1, x_2, ... , x_n$

σ^{2}

$\sigma^2$

x

$x$

s_{biased}^{2}

$s_\text{biased}^2$

Turkhan Badalov

56

A maioria das provas que eu vi são simples o suficiente para que Gauss (como ele fez isso) provavelmente tenha achado muito fácil provar.

Eu estava procurando por uma derivação no CV à qual eu pudesse vincular você (existem vários links para provas externas, incluindo pelo menos uma nas respostas aqui), mas não encontrei uma aqui no CV em um algumas pesquisas, então, por uma questão de exaustividade, darei uma simples. Dada a sua simplicidade, é fácil ver como as pessoas começariam a usar o que geralmente é chamado de correção de Bessel .

Isso leva como conhecimento assumido e assume que as primeiras propriedades básicas de variação são conhecidas. $E(X^2)=\text{Var}(X) + E(X)^2$

\begin{array}{rcl} E [\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}] & = & E [\sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + n {\bar{x}}^{2}] \\ = & E [\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}] \\ = & n E [x_{i}^{2}] - n E [{\bar{x}}^{2}] \\ = & n (μ^{2} + σ^{2}) - n (μ^{2} + σ^{2} / n) \\ = & (n - 1) σ^{2} \end{array}

$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$

Glen_b
fonte

11

qual propriedade faz com que o termo desapareça?

- 2 \bar{x} \sum_{i = 1}^{n} x_{i}

$-2\bar{x}\sum_{i=1}^{n}x_i$

Ciprian Tomoiagă

3

Não desaparece Você notou que o sinal do último termo foi alterado?

Glen_b 28/09

11

(+1) Ouvi recentemente uma ótima prova de que acho pessoalmente mais intuitivo. A variação da amostra com o fator pode ser re-expressa como a média de todas as diferenças ao quadrado entre todos os pontos dos pares. Agora observe que os pares em que o mesmo ponto entra duas vezes são zero e isso influencia a expressão. Parece razoável corrigir o viés excluindo todos esses pares da soma dupla e calculando a média apenas do restante. Isso produz a correção de Bessel.

1 / n

$1/n$

Ameba diz Reinstate Monica

11

Não, não importa, descobri. , portanto, você está aplicando a mesma identidade mencionada acima nos dois termos da linha 3.

V [\bar{x}] = \frac{V [x]}{n}

$V[\bar{x}] = \frac{V[x]}{n}$

tel

11

Qualquer uma das variáveis iid tem o mesmo segundo momento. Passamos de falar sobre todos para apenas discutir um deles. Você poderia facilmente ter tomado (e algumas pessoas fazem) ou ou ... mas eu ter tomado o -ésimo

x_{1}

$x_1$

x_{2}

$x_2$

x_{n}

$x_n$

i

$i$

Glen_b

37

De acordo com o World of Mathematics de Weisstein, foi provado pela primeira vez por Gauss em 1823. A referência é o volume 4 do Gauss 'Werke, que pode ser lido em https://archive.org/details/werkecarlf04gausrich . As páginas relevantes parecem ter 47-49. Parece que Gauss investigou a questão e apresentou uma prova. Não leio latim, mas há um resumo em alemão no texto. As páginas 103-104 explicam o que ele fez (Edit: adicionei uma tradução aproximada):

Tudo sobre o homem não é diferente, os homens são os homens e as mulheres são os melhores, então o homem mais velho é o homem, o homem é o homem, mas os homens são os homens e as mulheres, os homens são os homens e as mulheres als sie wirklich besitzen. [Mas, como não se tem o direito de tratar os valores mais prováveis como se fossem os valores reais, pode-se facilmente convencer-se de que é preciso sempre descobrir que o erro mais provável e o erro médio são muito pequenos e, portanto, os resultados apresentados possuem uma precisão maior do que realmente possuem.]

a partir do qual parece ser sabido que a variação da amostra é uma estimativa tendenciosa da variação da população. O artigo continua dizendo que a diferença entre os dois é geralmente ignorada porque não é importante se o tamanho da amostra for grande o suficiente. Então diz:

No Verfasser hat daher diesen Gegenstand eine beondere Untersuchung unterworfen, the zu einem sehr Merkwuerdigen hoechst einfachen Resultate gefuehrt hat. Man braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, um membro do richtigen zu verwandeln, nur mit

$\sqrt{\frac{π - ρ}{π}}$ $\sqrt{\frac{\pi-\rho}{\pi}}$
zu multiplicieren, wo die Anzahl der beobachtungen (número de observações) e die Anzahl der unbekannten groessen (número de incógnitas) bedeutet. [O autor, portanto, fez um estudo especial desse objeto que levou a um resultado muito estranho e extremamente simples. Ou seja, é necessário apenas multiplicar o erro médio encontrado pelo processo incorreto acima por (a expressão dada) para alterá-lo para o correto, onde é o número de observações e é o número de quantidades desconhecidas.] $\pi$ $\rho$ $\pi$ $\rho$

Portanto, se esta é realmente a primeira vez que a correção foi encontrada, parece que ela foi encontrada por um cálculo inteligente de Gauss, mas as pessoas já estavam cientes de que alguma correção era necessária, então talvez alguém pudesse encontrá-la empiricamente antes disso. . Ou, possivelmente, autores anteriores não se importaram em obter a resposta exata, porque eles estavam trabalhando com conjuntos de dados razoavelmente grandes.

Resumo: manual, mas as pessoas já sabiam que no denominador não estava certo. $n$

Solha
fonte

Se alguém pudesse fornecer uma tradução do alemão, seria bom. Eu, pelo menos não leio alemão.

Faheem Mitha

2

Sim, o Google Tradutor não funciona tão bem devido aos meus erros de ortografia! Vou acrescentar uma tentativa de tradução; será uma boa maneira de praticar meu alemão.

quer

14

Para mim, uma intuição é que

\begin{matrix} The degree to which \\ X_{i} varies from \bar{X} \end{matrix} + \begin{matrix} The degree to which \\ \bar{X} varies from μ \end{matrix} = \begin{matrix} The degree to which \\ X_{i} varies from μ . \end{matrix}

$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$

Isso é,

E [{(X_{i} - \bar{X})}^{2}] + E [{(\bar{X} - μ)}^{2}] = E [{(X_{i} - μ)}^{2}] .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$

Na verdade, provar a equação acima requer um pouco de álgebra (essa álgebra é muito semelhante à resposta de @ Glen_b acima). Mas, supondo que seja verdade, podemos reorganizar para obter:

E [{(X_{i} - \bar{X})}^{2}] = \underset{σ^{2}}{\underset{⏟}{E [{(X_{i} - μ)}^{2}]}} - \underset{\frac{σ^{2}}{n}}{\underset{⏟}{E [{(\bar{X} - μ)}^{2}]}} = \frac{n - 1}{n} σ^{2} .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$

Para mim, outra parte da intuição é que o uso de vez de introduz viés. E esse viés é exatamente igual a . $\bar{X}$ $\mu$ $\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

Kenny LJ
fonte

12

A maioria das respostas já o explicou de forma elaborada, mas além dessas, há uma ilustração simples que pode ser útil:

Suponha que você saiba que e os três primeiros números são: $n=4$

$8,4,6$ , _

Agora, o quarto número pode ser qualquer coisa, pois não há restrições. Agora considere a situação em que você recebe que e , se os três primeiros números forem: , o quarto número deverá ser . $n=4$ $\bar x=6$ $8,4,6$ $6$

Isso significa que, se você conhece valores e , o valor não tem liberdade. Assim, nos fornece um estimador imparcial. $n-1$ $\bar x$ $nth$ $n-1$

Satwik Bhattamishra
fonte

Como exatamente os estatísticos concordaram em usar (n-1) como o estimador imparcial da variação populacional sem simulação?

Respostas: