"Estimativa da densidade do kernel" é uma convolução do quê?

25

Estou tentando entender melhor a estimativa da densidade do kernel.

Usando a definição da Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition

fh^(x)=1ni=1nKh(xxi)=1nhi=1nK(xxih)

Vamos considerar como uma função retangular que fornece se estiver entre e e , caso contrário, e (tamanho da janela) como 1.1 x - 0,5 0,5 0 hK()1x0.50.50h

Entendo que a densidade é uma convolução de duas funções, mas não sei se sei definir essas duas funções. Um deles deve (provavelmente) ser uma função dos dados que, para cada ponto em R, nos dizem quantos pontos de dados temos nesse local (principalmente ). E a outra função provavelmente deve ser alguma modificação da função do kernel, combinada com o tamanho da janela. Mas não sei como defini-lo.0

Alguma sugestão?

Abaixo está um exemplo de código R que (suspeito) replica as configurações definidas acima (com uma mistura de dois gaussianos en ), nas quais espero ver uma "prova" de que as funções a serem complicadas são como suspeitamos .n=100

# example code:
set.seed(2346639)
x <- c(rnorm(50), rnorm(50,2))
plot(density(x, kernel='rectangular', width=1, n = 10**4))
rug(x)

insira a descrição da imagem aqui

Tal Galili
fonte
3
Seu tapete na parte inferior dá uma intuição grosseira. Imagine que cada valor a partir a é um espigão com um peso associado . Agora, espalhe cada espiga usando a forma e a largura do seu kernel, para que a espiga seja transformada para ter a mesma forma e largura, com uma altura tal que a área abaixo seja . Adicione os resultados e você terá uma estimativa de densidade do kernel. i = 1 n 1 / n 1 / nxii=1n1/n1/n
Nick Cox
Oi Nick, obrigado pelo comentário. Este longe na intuição Eu já tenho, é a transformá-lo formalmente na forma da convolução que eu estava curioso para ver :) (eu estou ansioso para passar pela resposta de Whuber!)
Tal Galili

Respostas:

27

Corresponde a qualquer lote de dados é sua "função de densidade empírica"X=(x1,x2,,xn)

fX(x)=1ni=1nδ(xxi).

Aqui, é uma "função generalizada". Apesar desse nome, não é uma função: é um novo objeto matemático que pode ser usado apenas dentro de integrais. Sua propriedade definidora é que, para qualquer função de suporte compacto que seja contínua em uma vizinhança de ,δg0

Rδ(x)g(x)dx=g(0 0).

(Os nomes para incluem a medida "atômica" ou "ponto" e a função " Dirac delta ". No cálculo a seguir, esse conceito é estendido para incluir funções que são contínuas apenas de um lado.)δgg

Justificando essa caracterização de é a observação de quefX

-xfX(y)dy=-x1 1nEu=1 1nδ(y-xEu)dy=1 1nEu=1 1n-xδ(y-xEu)dy=1 1nEu=1 1nREu(yx)δ(y-xEu)dy=1 1nEu=1 1nEu(xEux)=FX(x)

onde é o CDF empírico usual e é a função característica usual (igual a onde seu argumento é verdadeiro e caso contrário). (Eu pulo um argumento limitador elementar necessário para passar de funções de suporte compacto para funções definidas em ; porque só preciso ser definido para valores dentro do intervalo de , que é compacto, isso não é problema.)FXEu1 10 0REuX

A convolução de com qualquer outra função é dada, por definição, comofX(x)k

(fXk)(x)=RfX(x-y)k(y)dy=R1 1nEu=1 1nδ(x-y-xEu)k(y)dy=1 1nEu=1 1nRδ(x-y-xEu)k(y)dy=1 1nEu=1 1nk(xEu-x).

Deixando (que é o mesmo que para núcleos simétricos - e a maioria dos núcleos são simétricos), obtemos o resultado reivindicado: a fórmula da Wikipedia é uma convolução.k(x)=Kh(-x)Kh(x)

whuber
fonte
11
A situação em duas dimensões é explicada (em termos mais coloquiais) e ilustrada no site GIS em gis.stackexchange.com/questions/14374/… .
whuber
11
Caro Whuber, acabei de ler sua resposta com prazer! Muito obrigado pelas explicações e detalhes, suas respostas (essa e outras em geral) são realmente inspiradoras. Atenciosamente, Tal
Tal Galili
11
@ Jan Sua compreensão não é muito correta. Não há "densidade" empírica no sentido de uma medida contínua finita. A função indicadora dos dados se integra a zero (se você usa a integração Lebesgue ou a integração Riemann não faz diferença). A função generalizada não é uma função: é um novo objeto matemático que pode ser usado apenas dentro de integrais. A distribuição empírica é um objeto matemático que, quando integrado a qualquer função integrável retorna a soma (sobre todos os dados ) dos valoresg , x i g ( x i ) .δg,xEug(xEu).
whuber
11
@whuber Obrigado. A sentença A função generalizada δ não é absolutamente uma função: é um novo objeto matemático que pode ser usado apenas dentro de integrais. deixou mais claro. no ponto, como sempre. ;)
Jan Vainer
11
@ Jan Obrigado por sua ajuda: incorporei essa ideia nesta resposta.
whuber