E se as probabilidades não forem iguais na "Regra .632?"

11

Esta pergunta é derivada desta sobre a "regra .632". Estou escrevendo com referência particular à resposta / notação do user603 na medida em que simplifica as coisas.

Essa resposta começa com uma amostra do tamanho n, com substituição, de n itens distintos na coleção (chame) de N. A probabilidade de que a ith amostra si seja diferente de um determinado elemento m de N é então (11/n).

Nesta resposta, todos os elementos de N têm igual chance de serem sorteados aleatoriamente.

Minha pergunta é a seguinte: suponha que, na pergunta acima, os itens a serem desenhados sejam tais que sejam distribuídos normalmente. Ou seja, subdividimos a curva normal padrão de Z=4 a Z=4 em (digamos) 100 subintervalos de comprimento igual. Cada um dos 100 itens em N tem uma probabilidade de ser desenhada igual à área subtendida pela curva em seu respectivo intervalo.

Meu pensamento foi o seguinte:

O raciocínio é semelhante ao da resposta vinculada, eu acho. A probabilidade de que sim , com m um elemento de N, é P(sim)=(1Fi) na qual Fi é a probabilidade de desenhar si.

A probabilidade de um elemento m específico estar na amostra S de tamanho n é

= 1 - n 1 ( 1 - F i ) .

P(mS)=1P(mS)=11nP(sim)
=11n(1Fi).

Um cálculo parece mostrar que, à medida que o comprimento dos subintervalos diminui, a resposta converge para o mesmo número que no primeiro caso (probabilidades de todas iguais).si

Isso parece contra-intuitivo (para mim) porque a construção parece incluir elementos de N que são raros, então eu esperaria um número menor que 0,632.

Além disso, se isso estiver correto, acho que teríamos

limn1n(1Fi)=lim(11/n)n=1/e,

que ainda não sei como verdadeiro ou falso.

Edit: Se for verdade, provavelmente generalizaria alguns.

Obrigado por qualquer insight.

daniel
fonte
Acabei de perguntar sobre a última equação em Matemáticas SE (pergunta 791114), porque também estou interessada em como ela se generaliza.
Daniel
... e a resposta curta é que a última igualdade está correta para PDFs bem comportados, então a resposta para a pergunta é que a regra .632 vale para uma ampla variedade de distribuições subjacentes.
Daniel
Posso retirar a resposta de outra pessoa de outro site e publicá-la aqui como minha? Foi por isso que postei o breve comentário. Talvez haja uma maneira aceita de fazer isso, se for o caso, sou favorável.
Daniel
é claro que você pode, basta mencionar a fonte em algum ponto :)
Firebug
@ Firebug: você pode apontar para uma instância em que isso é feito para que eu possa ver o que você quer dizer? Obrigado.
Daniel

Respostas:

2

A pergunta é sobre o comportamento limitante da

(1)=1i=1n(1Fi)

à medida que cresce e o encolhe uniformemente de tal maneira que (a) todos são não negativos e (b) somam à unidade. (Eles decorrem da construção do e dos axiomas da probabilidade.)F i F inFi Fi

Por definição, este produto é o exponencial de seu logaritmo:

i=1n(1Fi)=exp(i=1nlog(1Fi)).

O Teorema de Taylor (com a forma Lagrange do restante) , aplicado a , estabelece quelog

log(1Fi)=Fi12ϕi2Fi12Fi2

para alguns no intervalo . Em outras palavras, esses logaritmos são iguais a até termos que são no máximo vezes . Mas quando é grande o suficiente para garantir que todos os sejam menores que alguns (uma condição assegurada pelo encolhimento uniforme de ), então (b) implica e portantoϕi[0,Fi]Fi 1/2Fi2nFiϵ>0Finϵ>Fi=1

i=1nFi2i=1nϵ2<i=1n(1n)2=1n.

Consequentemente

1=i=1nFii=1nlog(1Fi)i=1nFi121n=112n

espremer o logaritmo entre duas seqüências convergindo para . Como é contínuo, o produto converge para o exponencial desse limite, . Consequentemente1expi=1n(1Fi)exp(1)

limn(1i=1n(1Fi))=1exp(1)0.632,

QED .


Uma análise mais detalhada dessa análise estabelece que o erro nessa aproximação (que sempre será um limite inferior ) não é maior em tamanho que Por exemplo, a divisão de uma distribuição normal padrão em fatias entre e produz um máximo próximo ao modo , onde será aproximadamente igual à área de um retângulo, . . O limite anterior estabelece que o valor da fórmula estará dentro de do seu valor limite. O erro real é uma ordem de magnitude menor,n=400-44 F i 0exp(-1 / 2) / 500,012(1)0,0110,001041 f i 1

(exp((n/2)max(Fi2))1)exp(1).
n=40044Fi0exp(1/2)/500.012(1)0.0110.001041 . Aqui está o cálculo R( no qual podemos confiar, porque nenhum dos é verdadeiramente pequeno em relação a ):fi1
f <- diff(pnorm(seq(-4, 4, length.out=401))) # The normal "slices".
f <- f / sum(f)                              # Make them sum to unity.
exp(-1) - prod(1 - f)                        # Compute the error.

De fato, 1 - prod(1-f)é enquanto é .1 - exp ( - 1 ) 0,6321206 0.63316151exp(1)0.6321206

whuber
fonte
2
A análise de erro é um aspecto muito útil desta resposta.
Daniel