Alguém pode explicar como eu tenho 5 anos sobre esse problema no livro de ESL da Hastie?

Estou trabalhando no livro de ESL da Hastie e estou tendo dificuldades com a pergunta 2.3. A questão é a seguinte:

Estamos considerando uma estimativa de vizinho mais próximo na origem, e a distância mediana da origem ao ponto de dados mais próximo é dada por essa equação. Não faço ideia por onde começar em termos de tentar derivar isso.

Eu sei que a maioria dos pontos de dados está mais próxima do limite do espaço da amostra do que com qualquer outro ponto de dados (maldição da dimensionalidade), mas estou tendo problemas para traduzir isso no sentido Álgebra Linear / Probabilidade.

Obrigado!

machine-learning computational-statistics Gary
fonte

O que significa o "ELI5" no título? Se você quiser derivar essa equação, precisará começar com um modelo de probabilidade para pontos na bola: qual é esse modelo? (Por favor, não exija que seus leitores se refiram a um livro ou outro site para entender sua pergunta.)

whuber

@ whuber eu concordo - Acrônimos são um esquema de hash terrível.

Sycorax diz Restabelecer Monica

Você tem cinco anos. Todo o crédito a você por querer entender a ESL, mas você terá que esperar até os seis anos. É um livro para meninos e meninas grandes.

Nick Cox

Uma criança de cinco anos pode começar olhando para o caso unidimensional (p = 1). E quando estiver na mão, leve-o de lá.

Mark L. Stone

Se o ELI5 for explicitado, e quanto à ESL?

Mdewey 31/08/16

Respostas:

Seja distância da origem e seja o volume da unidade hiperesfera nas dimensões . Então o volume contido em uma hiperesfera de raio é $r$ $V_0[p]$ $p$ $r$

V [r] = V_{0 0} [p] r^{p}

$V[r]=V_0[p]r^p$

Se deixarmos denotar a fração do volume contido nessa hiperesfera e definir , então $P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

Se os pontos de dados são distribuídos uniformemente dentro da bola unitária, então para na fórmula acima é uma função de distribuição cumulativa (CDF) para . Isso é equivalente a uma densidade de probabilidade uniforme para no intervalo de unidades, ou seja, . Assim, como sugerido por Mark Stone nos comentários, podemos reduzir ocaso dimensional para um problema 1D equivalente. $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

Agora, se tivermos um único ponto , então, por definição de um CDF, temos e $R$ $\Pr[R\leq \rho]=P[\rho]$ . Se é o menor valor dentre pontos e todos os pontos são independentes, o CDF para é dado por $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$ (este é um resultado padrão dateoriaunivariada devalores extremos).

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

Por definição da mediana, temos que podemos reescrever como

\frac{1 1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

que é equivalente ao resultado desejado.

(1 1 - d^{p})^{n} = \frac{1 1}{2}

$(1-d^p)^n=\frac{1}{2}$

Edição: tentativa de resposta estilo " ELI5 ", em três partes.

$[0,1]$ $\frac{1}{2}$
$n$ $n$
$p$ $r$ $r^p$

GeoMatt22
fonte

Ha ha, fiz o comentário de que uma criança de 5 anos pode começar olhando para o caso p = 1. Pensei em acrescentar um comentário de que uma criança de 4 anos poderia não apenas começar com o caso p = 1, mas também n = 1. Mas achei que deixaria a criança de 5 anos descobrir isso.

Mark L. Stone

Observe que, quando respondi à pergunta, foi depois de ter sido esclarecido pelo @fcop ler: "Considere N pontos de dados distribuídos uniformemente em uma bola unitária p-dimensional centralizada na origem. Mostre que a distância média da origem até a o ponto de dados mais próximo é dado por ... ". Portanto, uma bola unitária em relação ao

L_{2}

$L_2$

p

$p$