Explicando aos leigos por que o bootstrapping funciona

Recentemente, usei o bootstrap para estimar intervalos de confiança para um projeto. Alguém que não conhece muito de estatística recentemente me pediu para explicar por que o bootstrapping funciona, ou seja, por que é que reamostrar a mesma amostra repetidamente para obter bons resultados. Percebi que, embora tenha passado muito tempo entendendo como usá-lo, não entendo realmente por que o bootstrapping funciona.

Especificamente: se estamos fazendo uma nova amostragem de nossa amostra, como aprendemos algo sobre a população e não apenas sobre a amostra? Parece haver um salto ali, algo contra-intuitivo.

Encontrei aqui algumas respostas para essa pergunta que entendo pela metade. Particularmente este . Sou um "consumidor" de estatística, não um estatístico, e trabalho com pessoas que sabem muito menos sobre estatísticas do que eu. Então, alguém pode explicar, com um mínimo de referências a teoremas, etc., o raciocínio básico por trás do bootstrap? Ou seja, se você tivesse que explicar ao seu vizinho, o que você diria?

fwiw a versão de tamanho médio que costumo dar fica assim:

Você quer fazer uma pergunta a uma população, mas não pode. Então você pega uma amostra e faz a pergunta. Agora, quão confiante você deve estar de que a resposta da amostra está próxima da resposta da população depende obviamente da estrutura da população. Uma maneira de aprender sobre isso é coletar amostras da população repetidamente, fazer a pergunta e ver como as respostas das amostras tendem a ser variáveis. Como isso não é possível, você pode fazer algumas suposições sobre a forma da população ou pode usar as informações da amostra que realmente precisa aprender sobre isso.

Imagine que você decide fazer suposições, por exemplo, que seja Normal ou Bernoulli ou alguma outra ficção conveniente. Seguindo a estratégia anterior, você pode aprender novamente sobre o quanto a resposta à sua pergunta, quando solicitada a uma amostra, pode variar dependendo da amostra em particular que você obteve ao gerar repetidamente amostras do mesmo tamanho que você tem e pedir a mesma coisa. Pergunta, questão. Isso seria direto na medida em que você escolheu suposições computacionalmente convenientes. (De fato, suposições particularmente convenientes, além de matemática não trivial, podem permitir que você ignore completamente a parte da amostra, mas vamos ignorá-la deliberadamente aqui.)

Parece uma boa ideia, desde que você esteja feliz em fazer as suposições. Imagine que você não é. Uma alternativa é coletar a amostra que você possui e em vez disso. Você pode fazer isso porque a amostra que você possui também é uma população, apenas uma amostra discreta muito pequena; parece com o histograma dos seus dados. A amostragem 'com substituição' é apenas uma maneira conveniente de tratar a amostra como se fosse uma população e de amostrá-la de uma maneira que reflita sua forma.

Isso é uma coisa razoável a se fazer, porque não é apenas a amostra que você tem melhor , mas também a única informação que você tem sobre como a população realmente se parece, mas também porque a maioria das amostras, se escolhidas aleatoriamente, se parece com a população de onde vieram. Consequentemente, é provável que o seu também.

Para a intuição, é importante pensar em como você pode aprender sobre a variabilidade agregando informações amostradas que são geradas de várias maneiras e em várias suposições. Ignorar completamente a possibilidade de soluções matemáticas de forma fechada é importante para esclarecer isso.

+1 para @ConjugatePrior, só quero destacar um ponto implícito em sua resposta. A pergunta é: "se estamos fazendo uma nova amostragem de nossa amostra, como é que estamos aprendendo algo sobre a população e não apenas sobre a amostra?" A reamostragem não é feita para fornecer uma estimativa da distribuição da população - tomamos nossa própria amostra como modelo da população. Em vez disso, a reamostragem é feita para fornecer uma estimativa da distribuição amostral da estatística da amostra em questão.

Esta é provavelmente uma explicação mais técnica, direcionada a pessoas que entendem alguma estatística e matemática (cálculo, pelo menos). Aqui está um slide de um curso sobre bootstraps de pesquisas que eu ensinei há algum tempo:

Algumas explicações são necessárias, é claro. é o procedimento para obter a estatística a partir dos dados existentes (ou, para ser tecnicamente preciso, uma funcionalidade da função de distribuição para números reais; por exemplo, a média é , onde para a função de distribuição de amostra , o é entendido como uma massa pontual em um ponto de amostra). Na população, denotada por , a aplicação de fornece o parâmetro de interesse . Agora, pegamos uma amostra (a primeira seta no topo) e temos a função de distribuição empírica - aplicamos a ela para obter a estimativa$T$$E[X]=\int x {\rm d}F$$F_n()$${\rm d}F$$F()$$T$$\theta$$F_n()$$T$$\hat\theta_n$ . A que distância fica , nos perguntamos? Qual é a distribuição que a quantidade aleatória pode ter em torno de ? Esse é o ponto de interrogação no canto inferior esquerdo do diagrama e é a pergunta que o bootstrap tenta responder. Para reafirmar o argumento de Gung, essa não é a questão sobre a população, mas a questão sobre uma estatística específica e sua distribuição.$\theta$$\hat\theta_n$$\theta$

Se pudéssemos repetir nosso procedimento de amostragem, poderíamos obter essa distribuição e aprender mais. Bem, isso geralmente está além de nossas capacidades. No entanto, se

1. $F_n$ está próximo o suficiente de , em um sentido adequado, e$F$
2. o mapeamento é suave o suficiente, ou seja, se tomarmos pequenos desvios de , os resultados serão mapeados para números próximos a ,$T$$F()$$\theta$

podemos esperar que o procedimento de bootstrap funcione. Nomeadamente, fingimos que nossa distribuição é vez de , e com isso podemos entreter todas as amostras possíveis - e haverá tais amostras, o que é prático apenas para . Deixe-me repetir novamente: o bootstrap trabalha para criar a distribuição de amostragem de torno do parâmetro "true" , e esperamos que, com as duas condições acima, essa distribuição de amostragem seja informativa sobre a distribuição de amostragem de torno de :$F_n()$$F()$$n^n$$n\le 5$$\hat\theta_n^*$$\hat\theta_n$$\hat\theta_n$$\theta$

Agora, em vez de apenas seguir um caminho ao longo das setas e perder alguma informação / precisão ao longo dessas setas, podemos voltar e dizer algo sobre a variabilidade de torno de .$\hat\theta_n^*$$\hat\theta_n$

As condições acima são explicadas com o máximo de tecnicidade no livro de Hall (1991) . A compreensão do cálculo que eu disse que pode ser necessária como pré-requisito para encarar esse slide é a segunda suposição relativa à suavidade: em uma linguagem mais formal, o funcional deve possuir uma derivada fraca. A primeira condição é, obviamente, uma afirmação assintótica: quanto maior sua amostra, mais próximo deve ficar de ; e as distâncias de a devem ter a mesma ordem de magnitude que as de a . Essas condições podem quebrar e quebram$T$$F_n$$F$$\hat\theta_n^*$$\hat \theta_n$$\hat\theta_n$$\theta$em um número de situações práticas com estatísticas estranho o suficiente e / ou planos de amostragem que não produzem distribuições empíricas que estão perto o suficiente para .$F$

Agora, de onde vêm essas 1000 amostras, ou qualquer que seja o número mágico? Isso resulta da nossa incapacidade de desenhar todas as amostras, portanto, apenas pegamos um subconjunto aleatório delas. A seta mais à direita "simular" indica outra aproximação que estamos fazendo para obter a distribuição de torno de , ou seja, nossa Monte Monte Carlo simulou a distribuição de é uma aproximação suficientemente boa da distribuição completa de bootstrap de torno de .$n^n$$\hat\theta_n$$\theta$$\hat\theta_n^{(*r)}$$\hat\theta_n^*$$\hat\theta_n$

Estou respondendo a essa pergunta porque concordo que isso é algo difícil de fazer e há muitos conceitos errados. Efron e Diaconis tentaram fazer isso em seu artigo da Scientific American em 1983 e, na minha opinião, fracassaram. Atualmente, existem vários livros dedicados ao bootstrap que fazem um bom trabalho. Efron e Tibshirani fizeram um ótimo trabalho em seu artigo na Statistical Science em 1986. Eu tentei muito tornar o bootstrap acessível ao profissional no meu livro de métodos de bootstrap e minha introdução ao bootstrap com aplicativos do livro de R. Hall é ótima, mas muito avançada e teórica . Tim Hesterberg escreveu um ótimo capítulo suplementar para um dos livros de estatística introdutórios de David Moore. O falecido Clifford Lunneborg tinha um bom livro. Chihara e Hesterberg publicaram recentemente um livro de estatísticas matemáticas de nível intermediário que cobre o bootstrap e outros métodos de reamostragem. Até livros avançados como Lahiri ou Shao e Tu dão boas explicações conceituais. Manly se dá bem com seu livro que cobre permutações e o bootstrap Não há mais motivo para ficar intrigado com o bootstrap. É importante ter em mente que o bootstrap depende do princípio do bootstrap "A amostragem com substituição se comporta na amostra original da mesma forma que a amostra original se comporta em uma população. Há exemplos em que esse princípio falha. É importante saber que o bootstrap não é a resposta para todos os problemas estatísticos. s dão boas explicações conceituais. Manly se dá bem com seu livro que cobre permutações e o bootstrap Não há mais motivo para ficar intrigado com o bootstrap. É importante ter em mente que o bootstrap depende do princípio do bootstrap "A amostragem com substituição se comporta na amostra original da mesma forma que a amostra original se comporta em uma população. Há exemplos em que esse princípio falha. É importante saber que o bootstrap não é a resposta para todos os problemas estatísticos. s dão boas explicações conceituais. Manly se dá bem com seu livro que cobre permutações e o bootstrap Não há mais motivo para ficar intrigado com o bootstrap. É importante ter em mente que o bootstrap depende do princípio do bootstrap "A amostragem com substituição se comporta na amostra original da mesma forma que a amostra original se comporta em uma população. Há exemplos em que esse princípio falha. É importante saber que o bootstrap não é a resposta para todos os problemas estatísticos. A amostragem com substituição se comporta na amostra original da mesma forma que a amostra original se comporta em uma população. Existem exemplos em que esse princípio falha. É importante saber que o bootstrap não é a resposta para todos os problemas estatísticos. A amostragem com substituição se comporta na amostra original da mesma forma que a amostra original se comporta em uma população. Existem exemplos em que esse princípio falha. É importante saber que o bootstrap não é a resposta para todos os problemas estatísticos.

Aqui estão os links da Amazon para todos os livros que mencionei e muito mais.

Estatística Matemática com Reamostragem e R

Métodos de autoinicialização e sua aplicação

Métodos de Bootstrap: um guia para profissionais e pesquisadores

Uma Introdução aos Métodos de Bootstrap com Aplicativos para R

Métodos de reamostragem para dados dependentes

Randomização, Bootstrap e Métodos de Monte Carlo em Biologia

Uma introdução ao Bootstrap

A prática do Business Statistics Companion Capítulo 18: Métodos de bootstrap e testes de permutação

Análise de dados por reamostragem: conceitos e aplicações

O Jackknife, o Bootstrap e outros planos de reamostragem

O Jackknife e o Bootstrap

Testes de Permutação, Paramétricos e Bootstrap de Hipóteses

A expansão Bootstrap e Edgeworth

Com o bootstrap, você simplesmente coleta amostras repetidas vezes do mesmo grupo de dados (dados de amostra) para estimar quão precisas são suas estimativas sobre toda a população (o que realmente existe no mundo real).

Se você coletar uma amostra e fizer estimativas da população real, talvez não consiga estimar quão precisas são suas estimativas - só temos uma estimativa e não identificamos como essa estimativa varia com as diferentes amostras que podemos ter encontrado.

Com o bootstrapping, usamos essa amostra principal para gerar várias amostras. Por exemplo, se medirmos o lucro todos os dias em 1000 dias, poderemos coletar amostras aleatórias desse conjunto. Podemos obter lucro de um dia aleatório, registrá-lo, obter lucro de outro dia aleatório (que pode ser o mesmo dia de antes - amostragem com substituição), registrá-lo e assim por diante, até obtermos um "novo" amostra de 1000 dias (da amostra original).

Essa amostra "nova" não é idêntica à amostra original - na verdade, podemos gerar várias amostras "novas" como acima. Quando analisamos as variações nas médias e estimativas, podemos obter uma leitura da precisão das estimativas originais.

Editar - em resposta ao comentário

As amostras "mais recentes" não são idênticas à primeira e as novas estimativas baseadas nessas variam. Isso simula amostras repetidas da população. As variações nas estimativas das amostras "mais recentes" geradas pelo bootstrap esclarecerão como as estimativas das amostras variariam, dadas diferentes amostras da população. É assim que podemos tentar medir a precisão das estimativas originais.

Obviamente, em vez de fazer o bootstrap, você pode coletar várias amostras novas da população, mas isso pode ser inviável.

Sei que essa é uma pergunta antiga com uma resposta aceita, mas gostaria de fornecer minha visão do método de inicialização. Não sou de forma alguma um especialista (mais um usuário de estatísticas, como o OP) e aceito quaisquer correções ou comentários.

Eu gosto de ver o bootstrap como uma generalização do método jackknife. Então, digamos que você tenha uma amostra S do tamanho 100 e estime algum parâmetro usando uma estatística T (S). Agora, você gostaria de saber um intervalo de confiança para essa estimativa de pontos. Caso você não tenha um modelo e uma expressão analítica para erro padrão, você pode excluir um elemento da amostra, criando uma subamostra com o elemento que foi excluído. Agora você pode calcular e obter 100 novas estimativas do parâmetro a partir das quais é possível calcular, por exemplo, erro padrão e criar um intervalo de confiança. Este é o método do canivete JK-1.$S_i$$T(S_i)$

Você pode considerar todos os subconjuntos de tamanho 98 e obter JK-2 (2 elementos excluídos) ou JK-3 etc.

Agora, o bootstrap é apenas uma versão aleatória disso. Fazendo reamostragem via seleção com substituições, você "exclui" um número aleatório de elementos (possivelmente nenhum) e os "substitui" por uma (ou mais) réplicas.

Ao substituir por réplicas, o conjunto de dados reamostrado sempre tem o mesmo tamanho. Para o canivete, você pode perguntar qual é o efeito do canivete em amostras de tamanho 99 em vez de 100, mas se o tamanho da amostra for "suficientemente grande", isso provavelmente não será um problema.

No canivete, você nunca mistura delete-1 e delete-2 etc, para garantir que as estimativas levantadas sejam de amostras do mesmo tamanho.

Você também pode considerar dividir a amostra do tamanho 100 em, por exemplo, 10 amostras do tamanho 10. Isso, em alguns aspectos teóricos, seria mais limpo (subconjuntos independentes), mas reduz o tamanho da amostra (de 100 para 10) tanto quanto é impraticável (na maioria casos).

Você também pode considerar subconjuntos parcialmente sobrepostos de determinado tamanho. Tudo isso é tratado de forma automática, uniforme e aleatória pelo método de inicialização.

Além disso, o método de autoinicialização fornece uma estimativa da distribuição amostral de sua estatística a partir da distribuição empírica da amostra original, para que você possa analisar outras propriedades da estatística além do erro padrão.

Parafraseando Fox , eu começaria dizendo que o processo de reamostragem repetida da amostra observada demonstrou imitar o processo da amostragem original de toda a população.

Uma amostra finita da população aproxima a distribuição da mesma maneira que um histograma a aproxima. Pela nova amostragem, cada contagem de posições é alterada e você obtém uma nova aproximação. Valores grandes de contagem flutuam menos que valores pequenos, tanto na população original quanto no conjunto amostrado. Como você está explicando isso a um leigo, você pode argumentar que, para contagens grandes de caixas, essa é aproximadamente a raiz quadrada da contagem de caixas nos dois casos.

Se eu encontrar ruivas e outras em uma amostra de , a nova amostragem estimaria a flutuação de ruivas como , o que é como assumir que a população original era realmente distribuído . Portanto, se aproximarmos a verdadeira probabilidade da amostrada, podemos obter uma estimativa do erro de amostragem "próximo" desse valor.$20$$80$$100$$\sqrt{(0.2 \times 0.8) \times 100}$$1:4$

Eu acho que é importante enfatizar que o bootstrap não descobre "novos" dados, é apenas uma maneira conveniente e não paramétrica de determinar aproximadamente a amostra para a amostra de flutuações, se a probabilidade verdadeira é dada pela amostra.

Observe que, nas estatísticas inferenciais clássicas, a entidade teórica que conecta uma amostra à população como um bom estimador da população é a distribuição amostral (todas as amostras possíveis que podem ser coletadas da população). O método de autoinicialização está criando um tipo de distribuição de amostragem (uma distribuição baseada em várias amostras). Certamente, é um método de máxima verossimilhança, mas a lógica básica não é tão diferente da teoria tradicional das probabilidades por trás das estatísticas clássicas baseadas em distribuição normais.

Meu argumento é muito pequeno.

O Bootstrap funciona porque explora intensivamente computacionalmente a premissa principal de nossa agenda de pesquisa.

Para ser mais específico, em estatística ou biologia, ou na maioria das ciências não-teóricas, estudamos indivíduos, coletando amostras.

No entanto, a partir dessas amostras, queremos fazer inferências sobre outros indivíduos, apresentando-nos no futuro ou em diferentes amostras.

Com o bootstrap, fundando explicitamente nossa modelagem nos componentes individuais de nossa amostra, podemos melhor (com menos suposições, geralmente) inferir e prever para outros indivíduos.

Ao explicar aos iniciantes, acho que ajuda a dar um exemplo específico ...

Imagine que você tenha uma amostra aleatória de 9 medidas de alguma população. A média da amostra é 60. Podemos ter certeza de que a média de toda a população também é 60? Obviamente, não porque as amostras pequenas variam, por isso é provável que a estimativa de 60 seja imprecisa. Para descobrir quantas amostras como essa variarão, podemos realizar algumas experiências - usando um método chamado bootstrapping.

O primeiro número da amostra é 74 e o segundo é 65, então vamos imaginar uma grande população "fingida" compreendendo um nono 74, um nono 65 e assim por diante. A maneira mais fácil de coletar uma amostra aleatória dessa população é coletar um número aleatório da amostra de nove e substituí-la para que você tenha a amostra original de nove novamente e escolha outra aleatoriamente, e assim sucessivamente, até obter um número aleatório. "reamostrar" de 9. Quando fiz isso, 74 não apareceram, mas alguns dos outros números apareceram duas vezes e a média foi 54,4. (Isso está configurado na planilha em http://woodm.myweb.port.ac.uk/SL/resample.xlsx - clique na guia de auto-inicialização na parte inferior da tela.)

Quando fiz 1000 reamostragens dessa maneira, suas médias variaram de 44 a 80, com 95% entre 48 e 72. O que sugere que há um erro de até 16 a 20 unidades (44 é 16 abaixo da média pretensa da população de 60, 80 é 20 unidades acima) no uso de amostras de tamanho 9 para estimar a média da população. e que podemos ter 95% de confiança de que o erro será 12 ou menos. Portanto, podemos ter 95% de confiança de que a média da população estará entre 48 e 72.

Há várias suposições abordadas aqui, a mais óbvia é a suposição de que a amostra fornece uma imagem útil da população - a experiência mostra que isso geralmente funciona bem, desde que a amostra seja razoavelmente grande (9 é um pouco pequeno, mas facilita veja o que está acontecendo). A planilha em http://woodm.myweb.port.ac.uk/SL/resample.xlsx permite ver resamples individuais, plotar histogramas de 1000 resamples, experimentar amostras maiores, etc. Há uma explicação mais detalhada no artigo em https://arxiv.org/abs/1803.06214 .