Média da amostra de bootstrap vs estatística da amostra

Digamos que eu tenha uma amostra e a amostra de bootstrap dessa amostra para um estastítico (por exemplo, a média). Como todos sabemos, esta amostra de bootstrap estima a distribuição amostral do estimador da estatística. $\chi$

Agora, a média dessa amostra de bootstrap é uma estimativa melhor da estatística da população do que a estatística da amostra original ? Em que condições seria esse o caso?

estimation bootstrap Amelio Vazquez-Reina
fonte

A média da amostra de inicialização é a média da amostra e, nesse caso, você não precisa de uma amostra de inicialização.

Xi'an

Obrigado @ Xi'an Não tenho certeza se sigo. A média da amostra de autoinicialização pode ser numericamente diferente da média da amostra. Você está tentando dizer que os dois ainda são teoricamente equivalentes? Você pode confirmar nos dois lados?

Amelio Vazquez-Reina

Vamos deixar nossa terminologia clara: "amostra de inicialização" pode se referir a uma amostra específica com substituição dos dados ou a uma variável aleatória (multivariada) da qual essa amostra seria considerada uma realização. Você está certo de que a média de uma realização pode diferir da média dos dados, mas @ Xi'an fornece a observação mais relevante de que a média da variável aleatória (que por definição é a estimativa de autoinicialização da média da população ) deve coincidir com a média dos dados.

whuber

Então sua pergunta é quase idêntica a stats.stackexchange.com/questions/126633/… ; a única diferença é que as realizações da amostra de inicialização podem se sobrepor, mas a análise dada na resposta é facilmente transferida para a situação da inicialização, com o mesmo resultado.

whuber

Eu vejo a conexão @whuber, embora no bootstrap tenha "subconjuntos com substituição" e as realizações possam se sobrepor, como você disse. Eu imagino que a distribuição (por exemplo, pseudo-aleatoriedade) usada para obter as re-amostras no bootstrap também possa afetar o viés da estimativa da amostra do bootstrap. Talvez a resposta seja que, para todas as questões práticas, a diferença é insignificante. É disso que se trata a questão: condições, sutilezas e a diferença na prática.

Amelio Vazquez-Reina

Respostas:

Vamos generalizar, de modo a focar no cerne da questão. Explicarei os mínimos detalhes para não deixar dúvidas. A análise requer apenas o seguinte:

A média aritmética de um conjunto de números é definida como $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
A expectativa é um operador linear. Ou seja, quando são variáveis aleatórias e são números, a expectativa de uma combinação linear é a combinação linear das expectativas, $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Seja uma amostra obtida de um conjunto de dados , retirando elementos uniformemente de com substituição. Deixe ser a média aritmética de . Esta é uma variável aleatória. Então $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

segue pela linearidade da expectativa. Como os elementos de são todos obtidos da mesma maneira, todos têm a mesma expectativa, dizem: $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Isso simplifica o que precede

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Por definição, a expectativa é a soma dos valores ponderados pela probabilidade. Como se supõe que cada valor de tenha uma chance igual de de ser selecionado, $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

a média aritmética dos dados.

Para responder à pergunta, se alguém usar a média dos dados para estimar a média da população, a média da autoinicialização (que é o caso ) também será igual a e, portanto, será idêntica ao estimador da média da população . $\bar x$ $k=n$ $\bar x$

Para estatísticas que não são funções lineares dos dados, o mesmo resultado não é necessariamente válido. No entanto, seria errado simplesmente substituir a média de autoinicialização pelo valor da estatística nos dados: não é assim que a autoinicialização funciona. Em vez disso, comparando a média do bootstrap com a estatística dos dados , obtemos informações sobre o viés da estatística. Isso pode ser usado para ajustar a estatística original para remover o viés. Como tal, a estimativa corrigida pelo viés torna-se assim uma combinação algébrica da estatística original e a média do bootstrap. Para obter mais informações, consulte "BCa" (inicialização otimizada e corrigida e corrigida) e "ABC". A Wikipedia fornece algumas referências.

whuber
fonte

Você quer dizer que a expectativa da média do bootstrap é igual à média dos dados, não? O próprio meio de autoinicialização não é determinado pela amostra de dados (original).

capybaralet

@ user2429920 A média de autoinicialização é uma estatística determinada pela amostra. Nesse sentido, é idêntico à média da amostra. Sua expectativa é tomada no sentido da distribuição amostral. Eu suspeito que você possa estar usando "expectativa" em um sentido diferente em relação ao processo de calcular a média de autoinicialização via subamostragem repetida com substituição.

whuber

Penso que o último parágrafo é a resposta real a esta pergunta, pois é geral e não se concentra apenas na estatística média. Eu tinha a mesma dúvida que o OP e não sabia da existência do BCa. Embora a demonstração nesta resposta não tenha me ajudado muito (não estou usando a média como estatística), o último parágrafo foi muito claro sobre o cerne da questão. Eu acredito que a resposta de Xi'an também aborda o caso em que a estatística média é usada, o mesmo problema. Obrigado!

Gabriel

@ Gabriel bons pontos. Eu verifiquei o registro: antes da edição, essa pergunta originalmente era feita apenas sobre a média. É por isso que as respostas parecem estar tão focadas nessa estatística.

whuber

Como a distribuição de auto-inicialização é definida como a média da distribuição do bootstrap é Quando você (se for necessário) implementar uma versão de simulação dessa expectativa, ou seja, uma média de sorteios aleatórios, há variabilidade de Monte Carlo em essa aproximação de , mas sua média (a expiração da média empírica) e seu limite quando o número de simulações de bootstrap cresce até o infinito são exatamente .

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

Xi'an
fonte

+1 Esta é a resposta que eu originalmente queria escrever, mas temia que fosse muito opaco para alguns leitores. Ainda assim, fico feliz em vê-lo tão elegantemente apresentado. Não sei ao certo o que você quer dizer na sua última frase, onde parece diferenciar a "expectativa" da aproximação simulada à média do seu "limite": uma vez que a expectativa é constante (não varia com o tamanho da simulação) ), não há realmente nenhum limite a ser cumprido.

whuber

@whuber: Obrigado pelo comentário e desculpe por escrever minha resposta concisa exatamente ao mesmo tempo que a sua! Suas explicações são certamente mais legíveis para iniciantes no bootstrap. Corrigi a sentença final, cuja parte limitante é a lei dos grandes números.

Xi'an

Seu uso de "mau" nessa última frase é bastante ambíguo! Eu descobri isso a partir da sua pista do LLN. Para qualquer simulação finita da distribuição de inicialização, cada amostra na simulação produz sua própria média (há um significado de "média"). A média de todas as amostras em uma determinada simulação produz uma média de simulação (há outro significado). A média da simulação converge para uma constante à medida que o tamanho da simulação aumenta, que é a média da autoinicialização (um terceiro significado), e isso é igual à média da amostra (o quarto significado). (E isso estima a média da população - um quinto significado!)

whuber