Quais são os exemplos em que um "bootstrap ingênuo" falha?

Suponha que eu tenha um conjunto de dados de amostra de uma distribuição desconhecida ou complexa e que deseje realizar alguma inferência em uma estatística dos dados. Minha inclinação padrão é apenas para gerar um monte de amostras de bootstrap com substituição e calcular o meu estatística em cada amostra de bootstrap para criar uma distribuição estimada para . $T$ $T$ $T$

Quais são os exemplos em que isso é uma má ideia?

Por exemplo, um caso em que a ingenuidade na execução desse bootstrap falharia seria se eu estivesse tentando usá-lo em dados de séries temporais (por exemplo, para testar se eu tenho correlação automática significativa). O bootstrap ingênuo descrito acima (gerando o de dados da enésima série de exemplos de bootstrap por amostragem com substituição da minha série original) seria (acho) desaconselhável, uma vez que ignora a estrutura da minha série temporal original, e por isso obtenha técnicas de inicialização mais sofisticadas, como a inicialização do bloco. $i$

Em outras palavras, o que há no bootstrap além da "amostragem com substituição"?

hypothesis-testing confidence-interval bootstrap raegtin
fonte

Se você deseja deduzir a média dos dados do iid, o bootstrap é uma ótima ferramenta. Tudo o resto é questionável e requer prova caso a caso de convergência fraca.

Stask

Respostas:

Se a quantidade de interesse, geralmente funcional de uma distribuição, for razoavelmente suave e seus dados estiverem disponíveis, você estará em um território bastante seguro. Obviamente, há outras circunstâncias em que o bootstrap também funcionará.

O que significa para o bootstrap "falhar"

Em termos gerais, o objetivo do bootstrap é construir uma distribuição aproximada da amostra para a estatística de interesse. Não se trata de estimativa real do parâmetro. Portanto, se a estatística de interesse (sob algum redimensionamento e centralização) for e na distribuição, gostaríamos que nossa distribuição de inicialização fosse convergem para a distribuição de . Se não temos isso, não podemos confiar nas inferências feitas. $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

O exemplo canônico de quando o bootstrap pode falhar, mesmo em uma estrutura iid, é ao tentar aproximar a distribuição de amostragem de uma estatística de ordem extrema. Abaixo está uma breve discussão.

Estatística de pedido máximo de uma amostra aleatória de uma distribuição $\;\mathcal{U}[0,\theta]$

Seja uma sequência de variáveis aleatórias uniformes de iid em . Deixe . A distribuição de é (Observe que, por um argumento muito simples, isso na verdade também mostra que em probabilidade, e mesmo, quase certamente , se as variáveis aleatórias estiverem todas definidas no mesmo espaço.) $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

Um cálculo elementar produz ou, em outras palavras, converge na distribuição para uma variável aleatória exponencial com média .

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

Agora, formamos uma estimativa (ingênua) de autoinicialização da distribuição de , reamostrando com substituição para obter e usando a distribuição de condicional em . $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

Mas observe que com probabilidade e, portanto, a distribuição do bootstrap tem uma massa de ponto a zero, mesmo que assintoticamente, apesar de o fato de que a distribuição limite real é contínua. $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

Mais explicitamente, embora a distribuição limitadora verdadeira seja exponencial com a média , a distribuição limitadora do bootstrap coloca uma massa de pontos no zero do tamanho independentemente do valor real de . Ao tomar suficientemente grande, podemos tornar arbitrária a probabilidade da verdadeira distribuição limitadora pequena para qualquer intervalo fixo , mas o bootstrap ( ainda !) Informa que há pelo menos probabilidade 0,632 nesse intervalo! Por isso, deve ficar claro que o bootstrap pode se comportar arbitrariamente mal nessa configuração. $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

Em resumo, o bootstrap falha (miseravelmente) neste caso. As coisas tendem a dar errado quando se lida com parâmetros na extremidade do espaço de parâmetros.

Um exemplo de uma amostra de variáveis aleatórias normais

Existem outros exemplos semelhantes da falha do bootstrap em circunstâncias surpreendentemente simples.

Considere um exemplo de que o espaço de parâmetro para está restrito a . O MLE nesse caso é . Novamente, usamos a estimativa de autoinicialização . Novamente, pode ser mostrado que a distribuição de (condicional na amostra observada) não converge para a mesma distribuição limitadora que . $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

Matrizes intercambiáveis

Talvez um dos exemplos mais dramáticos seja para uma matriz intercambiável. Seja seja uma matriz de variáveis aleatórias tais que, para cada par de matrizes de permutação e , as matrizes e têm a mesma distribuição conjunta. Ou seja, permutar linhas e colunas de mantém a distribuição invariável. (Você pode pensar em um modelo de efeitos aleatórios bidirecional com uma observação por célula como exemplo, embora o modelo seja muito mais geral.) $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

Suponha que desejemos estimar um intervalo de confiança para a média (devido à suposição de permutabilidade descrita acima, as médias de todos os células devem ser as mesmas). $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) considerou duas maneiras naturais (ou seja, ingênuas) de inicializar uma matriz desse tipo. Nenhum deles obtém a variação assintótica para a média da amostra correta. Ele também considera alguns exemplos de uma matriz trocável unidirecional e regressão linear.

Referências

Infelizmente, o assunto não é trivial, portanto, nenhuma dessas leituras é particularmente fácil.

P. Bickel e D. Freedman, Alguma teoria assintótica para o bootstrap . Ann. Estado. vol. 9, n. 6 (1981), 1196-1217.

DWK Andrews, Inconsistência do bootstrap quando um parâmetro está no limite do espaço de parâmetro , Econometrica , vol. 68, n. 2 (2000), 399-405.

P. McCullagh, Reamostragem e matrizes permutáveis , Bernoulli , vol. 6, n. 2 (2000), 285-301.

EL Lehmann e JP Romano, Testando Hipóteses Estatísticas , 3º. ed., Springer (2005). [Capítulo 15: Métodos gerais de amostra grande]

cardeal
fonte

O comportamento do bootstrap das estatísticas da ordem parece razoável para mim, dado que a distribuição exponencial tem uma "massa pontual" semelhante a zero - O modo de uma distribuição exponencial é 0, portanto parece razoável que a probabilidade seja diferente de zero na valor mais provável! O bootstrap provavelmente seria algo mais parecido com uma distribuição geométrica que é um análogo discreto do exponencial. Eu não tomaria isso como um "fracasso" da inicialização aqui - para a quantidade estimada de sempre reside no apropriado intervalo

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

probabilityislogic

@ cardinal - a distribuição assintótica não é a referência apropriada - a menos que você tenha uma amostra infinita. A distribuição de autoinicialização deve ser comparada à distribuição finita de amostra que foi projetada para aproximar. O que você deseja mostrar é que, conforme o número de iterações de bootstrap chega ao infinito, a distribuição de bootstrap converge para a distribuição de amostragem finita . deixar é uma solução aproximada e não exata.

n \to \infty

$n\to\infty$

probabilityislogic

@ cardinal +1, votei na questão mais cedo, mas só quero agradecer por uma resposta muito boa, exemplos e links para os artigos.

precisa saber é o seguinte

@probabilityislogic, é claro que na aplicação geral da teoria assintótica depende da taxa de convergência; se for lenta, não será aplicável. Mas você deve demonstrar que a taxa é lenta, pois eu suspeito que, por exemplo, com uma distribuição uniforme no tamanho da amostra 100, você encontrará os problemas @ cardinal descritos.

precisa saber é o seguinte

@probabilityislogic, no começo, eu só vi o último dos seus dois comentários mais recentes. Para abordar a primeira, você pode ver as duas primeiras frases da seção acima com o cabeçalho "O que significa que o bootstrap 'falhará" ", onde isso é tratado explicitamente. O bootstrap não é sobre estimar o parâmetro. Assumimos que temos uma boa maneira de estimar o parâmetro desejado (neste caso, funciona bem). O bootstrap é sobre saber algo sobre a distribuição do parâmetro para que possamos fazer inferência. Aqui, o bootstrap errou a distribuição ( muito! ).

X_{(n)}

$X_{(n)}$

cardeal

O livro a seguir possui um capítulo (Cap. 9) dedicado a "Quando o bootstrapping falha junto com os remédios para falhas":

MR Chernick, métodos Bootstrap: Um guia para profissionais e pesquisadores , 2ª ed. Hoboken NJ: Wiley-Interscience, 2008.

Os tópicos são:

Muito pequeno de um tamanho de amostra
Distribuições com momentos infinitos
Estimando valores extremos
Amostragem de pesquisa
Sequências de dados que são dependentes de M
Processos autoregressivos instáveis
Dependência de Longo Alcance

Sadeghd
fonte

Você já viu este comentário com uma resposta neste tópico? Aliás, esse comentário está vinculado a uma página da Amazon para o livro de Chernick; as críticas dos leitores são esclarecedoras.

whuber

@ Whuber Bem, eu não notei esse comentário. Devo remover minha resposta?

Sadeghd

Como sua resposta é mais detalhada que a referência no comentário, ela tem potencial: mas, de acordo com as políticas e objetivos da SE, seria bom vê-la ampliada com algumas explicações sobre por que você está recomendando este livro ou - melhor ainda - incluir um resumo das informações nele. Caso contrário, ele adiciona pouco e deve ser excluído ou convertido em um comentário para a pergunta.

whuber

O bootstrap ingênuo depende do tamanho da amostra ser grande, de modo que o CDF empírico para os dados seja uma boa aproximação ao CDF "verdadeiro". Isso garante que a amostragem do CDF empírico seja muito semelhante à amostragem do CDF "verdadeiro". O caso extremo é quando você apenas amostrou um ponto de dados - a inicialização não alcança nada aqui. Tornar-se-á cada vez mais inútil à medida que se aproxima deste caso degenerado.

O bootstrapping ingenuamente não falhará necessariamente na análise de séries temporais (embora possa ser ineficiente) - se você modelar a série usando funções básicas de tempo contínuo (como polinômios de legenda) para um componente de tendência e funções seno e cosseno de tempo contínuo para ciclos cíclicos componentes (mais o termo de erro de ruído normal). Em seguida, basta colocar o que quer que você tenha amostrado na função de probabilidade. Nenhum desastre para a inicialização aqui.

Qualquer correlação automática ou modelo ARIMA tem uma representação neste formato acima - este modelo é apenas mais fácil de usar e penso entender e interpretar (ciclos fáceis de entender nas funções seno e cosseno, coeficientes difíceis de entender de um modelo ARIMA). Por exemplo, a função de correlação automática é a transformação inversa de Fourier do espectro de potência de uma série temporal.

probabilityislogic
fonte

@probabilityislogic -1, acidentalmente votei na resposta anteriormente (culpe o Opera mini), então tive que editá-la para poder votar novamente, desculpe-me por usar essas táticas. Fiz isso apenas porque não gostei da resposta a princípio, mas não diminuiu o voto porque queria preparar meus argumentos, que darei no comentário a seguir.

precisa saber é o seguinte

@probabilityislogic, para processos de séries temporais, o tempo desempenha um papel importante; portanto, a distribuição do vetor é diferente de . A reamostragem, como feita no bootstrap ingênuo, destrói essa estrutura. Por exemplo, se você tentar ajustar o modelo AR (1), após a reamostragem, poderá perceber que está tentando ajustar como , que é não parece natural. Se você busca no google por "séries temporais de inicialização", o segundo artigo dá um exemplo de como a estimativa de variação das séries temporais ...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

mpiktas 19/04/11

@probabilityislogic, seria possível demonstrar sua ideia na sua resposta para uma estimativa ingênua de bootstrap de no modelo AR (1) ? Eu não acho que isso seja possível, daí a razão básica do voto negativo. Eu ficaria feliz em me provar errado.

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

precisa saber é o seguinte

@probabilityislogic, e? Qual será a estimativa de nesse caso? Sinto muito por incomodar, mas sinceramente não vejo como você pode mostrar que o bootstrap ingênuo não falhará neste caso.

r h o

$rho$

Mvctas

Meu livro aqui tem um capítulo sobre quando o bootstrap falha e também um capítulo sobre como o bootstrap é aplicado em séries temporais. Para séries temporais, a autoinicialização pode ser aplicada aos resíduos de um modelo na abordagem baseada em modelo. A outra abordagem não paramétrica no domínio do tempo é a inicialização de bloco, da qual existem muitos tipos.

Michael Chernick 28/08/2012