Ao longo do tempo, assumimos que nossa estatística é uma função de alguns dados X 1 , … X n que são extraídos da função de distribuição F ; a função de distribuição empírica da nossa amostra é F . Então θ ( F ) é a estatística visto como uma variável aleatória e θ ( F ) é a versão de bootstrap da estatística. Usamos d ∞ como a distância KS
Existem resultados "se e somente se" para a validade do bootstrap se a estatística for uma estatística linear simples. Por exemplo, teorema 1 de Mammen "Quando o bootstrap funciona?"
Se para alguma função arbitráriahn, em seguida, as obras de bootstrap no sentido em qued∞[L(θ( F ) - t n),G(θ(F)-tn)]→p0se e somente se existirσnetntal que
Onde podemos definir ^ t n como uma função da nossa amostra e t n = E ( t n )
Também existem resultados mais gerais de que o bootstrap funciona para estatísticas gerais, por exemplo, o Teorema 1.6.3 de Subsampling por Politis Romano e Wolf:
Suponha que seja extraído da classe de todas as distribuições com suporte finito. Suponha que a estatística θ ( ⋅ ) é Frechet diferenciável em F com relação à norma suprema e a derivada g F satisfaz 0 < Var F [ g F ( x ) ] < ∞ . Então θ ( F ) é assintoticamente normal e o bootstrap funciona no sentido do teorema anterior.
Eu gostaria de uma versão "se e somente se" do segundo teorema. Isso exigirá uma noção de suavidade diferente da diferenciabilidade de Frechet, porque Politis, Romano e Wolf (1999) mostram que a mediana da amostra não é diferenciável de Frechet, mas o bootstrap ainda funciona. No entanto, a mediana da amostra ainda é uma função suave dos dados.
Há alguns comentários informais em Mammen de que a suavidade é necessária:
Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap
A citação é:
van Zwet, W (1989). Palestra proferida na conferência sobre "Métodos assintóticos para procedimentos intensivos em computação em estatística" em Olberwolfach.
Mas não consigo encontrar nenhum traço dessa conversa além de algumas citações.
Respostas:
(1) Por que estimadores quantílicas não são Frechet diferenciável mas o seu estimador de bootstrap ainda é consistente?■
Você precisa da diferencialidade do Hadamard (ou diferenciável compacta, dependendo da fonte de referência) como uma condição suficiente para fazer o bootstrap funcionar nesse caso, a mediana e qualquer quantil é diferenciado pelo Hadamard. A diferenciabilidade do Frechet é muito forte na maioria das aplicações.
Como geralmente basta discutir um espaço polonês, você deseja que uma funcionalidade localmente linear aplique um argumento típico de compactação para estender seu resultado de consistência à situação global. Veja também o comentário de linearização abaixo.
O teorema 2.27 de [Wasserman] lhe dará uma intuição de como a derivada de Hadamard é uma noção mais fraca. E Teorema 3,6 e 3,7 [Shao & Tu] dará condição suficiente para fraca consistência em termos de -Hadamard derivabilidade do funcional estatística t n com tamanho observação n .ρ Tn n
(2) O que vai afetar a consistência de estimadores de bootstrap?■
[Shao & Tu] pp.85-86 ilustram situações em que pode ocorrer inconsistência dos estimadores de autoinicialização.
E no capítulo 3.5.2 da [Shao & Tu] eles revisitou o exemplo quantil usando um kernel suavização . Observe que os momentos são funcionais lineares, a citação na sua pergunta "Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap" está exigindo algum nível de analiticidade do funcional, o que pode ser necessário porque, se isso falhar, você poderá criar algum caso patológico como a função Weierstrass (que é contínua, mas em nenhum lugar diferenciável).K
(3) linearidade Por local parece necessária para garantir a consistência do estimador de bootstrap?■
Quanto ao comentário "Normalmente, a linearidade assintótica local parece ser necessária para a consistência do bootstrap" feita por Mammen, como você mencionou. Um comentário de [Shao & Tu] p.78 é o seguinte, pois eles comentaram que a linearização (global) é apenas uma técnica que facilita a prova de consistência e não indica nenhuma necessidade:
And they gave an example 3.3 of obtaining the bootstrap consistency for MLE type bootstrapping. However if global linearity is effective in that way, it is hard to imagine how one would prove consistency without local linearity. So I guess that is what Mammen wanted to say.
Beyond the discussion provided by [Shao&Tu] above, I think what you want is a characterization condition of consistency of bootstrap estimators.
Pitifully, I do not know one characterization of consistency of a bootstrap estimator for a very general class of distribution inM(X) . Even if there is one I feel it requires not only smoothness of T . But there does exist characterization for a certain class of statistical models like CLT class in [Gine&Zinn]; or commonly compactly supported class(directly from above discussion) defined over a Polish space.
Plus, the Kolmogorov-Smirnov distance, according to my taste is the wrong distance if our focus is classic asymptotics(in contrast to "uniform" asymptotics for empirical processes). Because KS-distance does not induce the weak topology which is a natural ground for study of asymptotic behavior, the weak topology on the spaceM(X) is induced by bounded Lipschitz distance(OR Prohorov-Levy distance) as adopted by [Huber] and many other authors when the focus is not empirical process. Sometimes the discussion of limiting behavior of empirical process also involve BL-distance like[Gine&Zinn].
I hate to be cynical yet I still feel that this is not the only statistical writing that is "citing from void". By saying this I simply feel the citation to van Zwet's talk is very irresponsible although van Zwet is a great scholar.
[Wasserman]Wasserman, Larry. All of Nonparametric Statistics, Springer, 2010.
[Shao&Tu]Shao, Jun, and Dongsheng Tu. The jackknife and bootstrap. Springer, 1995.
[Gine&Zinn]Giné, Evarist, and Joel Zinn. "Bootstrapping general empirical measures." The Annals of Probability (1990): 851-869.
[Huber]Huber, Peter J. Robust statistics. Wiley, 1985.
fonte