Papel da função Dirac em filtros de partículas

7

Aproximações de partículas para densidades de probabilidade são frequentemente introduzidas como uma soma ponderada das funções Dirac

p(x)i=1Nωiδ(xxi)

com os pesos

ωip(xi)q(xi)

normalizado de modo que eles somam à unidade; onde é a densidade de importância. Eu entendo que a função Dirac se torna infinitamente grande no ponto , que é e que é zero em qualquer outro lugar, ou seja, . Além disso, entendo que a função Dirac integrada sobre o ponto de massa assume o valor da unidade.q()pδ(p)=δ(x)=0 xp

Minhas perguntas são:

  1. Qual é a relação entre o suporte da aproximação de partículas e a função Dirac?
  2. Por que um sinal de somatório usado ao avaliar só pode produzir um valor de 0 ou infinito? Isso não deveria ser uma integral?δ
  3. Como a noção de suporte de uma função pode ser estendida a um conjunto de pontos (por exemplo, ), que não é uma função em si?xt(i)
  4. Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de s que, por si só, recebem apenas valores de zero ou infinito?δ()

Obrigado por quaisquer esclarecimentos que você possa fornecer.

Constantin
fonte
11
O segmento relacionado em stats.stackexchange.com/questions/73623 pode lançar alguma luz sobre essas perguntas. (Trata-se exatamente da mesma situação, mas com pesos uniformes.)
whuber

Respostas:

6

O @ user20160 já deu uma boa resposta para suas (1) - (3) perguntas, mas a última parece ainda não estar totalmente respondida.

  1. Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de s que, por si só, recebem apenas valores de zero ou infinito?δ()

Deixe-me começar citando a Wikipedia, pois ela fornece uma descrição bastante clara neste caso (observe os negritos que adicionei):

O delta Dirac pode ser pensado livremente como uma função na linha real que é zero em qualquer lugar, exceto na origem, onde é infinito,

δ(x)={+,x=00,x0

e que também é restrito a satisfazer a identidade

δ(x)dx=1

Essa é apenas uma caracterização heurística. O delta Dirac não é uma função no sentido tradicional, pois nenhuma função definida nos números reais possui essas propriedades . A função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Além disso, a Wikipedia fornece uma definição mais formal e muitos exemplos trabalhados, então eu recomendo que você leia o artigo inteiro. Deixe-me citar um exemplo:

Na teoria das probabilidades e nas estatísticas, a função delta Dirac é frequentemente usada para representar uma distribuição discreta, ou uma distribuição parcialmente discreta e parcialmente contínua, usando uma função de densidade de probabilidade (que normalmente é usada para representar distribuições totalmente contínuas). Por exemplo, a função de densidade de probabilidade de uma distribuição discreta consistindo em pontos , com probabilidades correspondentes , pode ser escrita comof(x)x={x1,,xn}p1,,pn

f(x)=i=1npiδ(xxi)

O que esta equação está dizendo é que somamos distribuições contínuas que têm toda a sua massa em torno de 's. Se você tentar imaginar distribuições em termos de funções de distribuição cumulativa, será necessárionδxi=δ(xxi)xiδxi

Fxi(x)={0if x<xi1if xxi

Para que possamos reescrever a densidade anterior na função de distribuição cumulativa

F(x)=i=1npiFxi(x)=i=1npi1xxi

onde é uma função indicadora apontando para . Observe que essa é basicamente uma distribuição categórica disfarçada. Além disso, você pode definir o delta do Dirac em termos de função arbitrária1xxixi

f(x)δ(xxi)dx=f(xi)

portanto, "funciona" como versão contínua da função do indicador.

A mensagem de retirada é que o Dirac delta não é uma função padrão. Também não é igual ao infinito em zero - se fosse, seria inútil porque o infinito não é um número; portanto, não podemos realizar nenhuma operação aritmética sobre ele. Você pode pensar no delta do Dirac simplesmente como uma função indicadora que aponta para algum que é contínuo e se integra à unidade. Nenhuma magia negra envolvida, é apenas uma maneira de hackear o cálculo para lidar com valores discretos.xi

Tim
fonte
4

Qual é a relação entre o suporte da aproximação de partículas e a função Dirac?

A distribuição é aproximada como uma soma ponderada de funções delta. Portanto, o suporte da aproximação é a união do suporte das funções delta. Cada função delta é zero em qualquer lugar, exceto por um único ponto ( ), onde seu valor é infinito. Portanto, o suporte de cada função delta é esse ponto único e o suporte da distribuição aproximada é o conjunto de pontosxt(i){xt(i)}i=1N

Por que um sinal de somatório usado ao avaliar só pode produzir um valor de 0 ou infinito? Isso não deveria ser uma integral?δ

A soma existe para expressar a distribuição como uma soma ponderada de funções delta. Isto está apenas dizendo: "coloque uma função delta em cada ponto e dimensione sua amplitude em ." A distribuição é contínua, portanto, seu valor em cada ponto é a densidade de probabilidade , não a probabilidade. Integraríamos a densidade em alguma região para obter a probabilidade associada. A integral de cada função delta escalada será . Isso significa que a probabilidade de cada ponto é , e a probabilidade de qualquer outro valor é 0.xt(i)πt(i)πt(i)xt(i)πt(i)

Aqui está um exemplo de aproximação de uma distribuição contínua usando funções delta. A distribuição é uma distribuição gaussiana. é aproximado usando a distribuição , que é uma soma de 50 funções delta em escala. Os locais das funções delta são amostrados de .ggfg

insira a descrição da imagem aqui

A olho nu, os PDFs não parecem muito semelhantes porque não tem uma forma agradável que podemos ver. Porém, as funções delta estão mais próximas em regiões onde tem maior densidade. Quando começamos a usar integrais, a semelhança se torna mais aparente. Por exemplo, os CDFs são visivelmente semelhantes. A média, variância etc. também serão semelhantes. A qualidade da aproximação melhorará à medida que o número de funções de amostras / delta aumentar.fg

Como a noção de suporte de uma função pode ser estendida a um conjunto de pontos (por exemplo, ), que por si só não é uma função?xt(i)

Suporte é um conceito definido para funções, não para conjuntos. O suporte de uma função é o conjunto de entradas para as quais a saída é diferente de zero. Como acima, se definir uma função como uma soma de funções delta localizados em cada ponto em um conjunto , o apoio de que a função é . Podemos também considerar a função de indicador de . Diga é um subconjunto de um conjunto maior (por exemplo, os números reais). A função indicadora é definido em . Leva um valor de se , caso contrário, . Assim, o apoio da função de indicador é .SSSSLIS(x)L1xS0S

user20160
fonte
Obrigado pelos esclarecimentos. O que ainda não entendo é como uma representação de uma função de densidade de probabilidade pode surgir a partir de uma soma ponderada de δ (⋅) s que, por si só, recebem apenas valores de zero ou infinito.
Constantin
11
Isso ocorre porque estamos aproximando uma distribuição contínua de uma distribuição discreta.
JDL
@ user20160 como você calculou o CDF aproximado?
Tintinthong
11
@tintinthong Este é o 'CDF empírico', obtido ao integrar o PDF composto por funções delta. Seu valor em cada ponto é apenas a fração de funções delta cujos locais são . en.wikipedia.org/wiki/Empirical_distribution_functionxx
user20160
@ Constantin Esta resposta está um pouco atrasada. O motivo pelo qual você pode aproximar uma distribuição contínua dessa maneira é porque as funções delta são compactadas mais densamente em regiões onde a densidade real é alta
user20160
2

Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de δ (⋅) s que, por si só, recebem apenas valores de zero ou infinito?

Pense na função delta de Dirac como uma ponte entre valores discretos e contínuos. Dirac veio com eles para simplificar sua matemática, aplicando ferramentas matemáticas contínuas em quantidades discretas. Penso no delta de Dirac exatamente nas mesmas situações em que é muito complicado lidar com valores discretos.

Portanto, no seu exemplo, alguém queria ter a função de densidade de probabilidade. Ótimo! Mas o problema é que suas entradas são observações discretas. Então, esse cara sabia sobre a função de Dirac e a conectou:

p(x)i=1Nωiδ(xxi)

Para entender essa expressão, lembre-se de como o delta de Dirac é definido:

f(x)δ(xx0)dx=f(x0)
δ(x)0,x0

Note, que é não definido da maneira que você descreveu:

A função Dirac se torna infinitamente grande em um ponto pp, que é δ (p) = ∞ e que é zero em outro lugar,

Essa não é a maneira correta de pensar em uma função Dirac. Sempre pense nele como uma integral acima, cujo objetivo é vincular valor discreto em à expressão contínua (integral) .x0dx

Agora, aplique uma integral à sua equação:

p(x)dx(i=1Nωiδ(xxi))dx=iωi

Se você não tivesse o delta do Dirac e aplicasse a integral a uma soma, obteria uma integral indefinida:

(i=1Nωi)dx=

Resumindo, o objetivo delta de Dirac é trazer quantidades discretas para o espaço contínuo, e a definição de demonstra exatamente isso. Constrói a função de densidade contínua a partir de valores discretos.p(x)N

Novamente, é enganoso pensar na função Dirac como "infinito em e zero em todos os lugares". Esta descrição não traz nada de útil em termos de intuição. Largue.x0

Eis como o próprio Diract definiu sua função em " Os Princípios da Mecânica Quântica ": insira a descrição da imagem aqui

É assim que ele descreve o objetivo da função, observe como ele continua repetindo a palavra "integrando" e enfatiza "conveniência": insira a descrição da imagem aqui

Aksakal
fonte
1

Penso que suas confusões são todas resultado de pensar no delta do Dirac como uma função. Não é (consulte o artigo da wikipedia https://en.wikipedia.org/wiki/Dirac_delta_function ).

A função delta só faz sentido como um objeto matemático quando aparece dentro de uma integral. Nesta perspectiva, o delta do Dirac geralmente pode ser manipulado como se fosse uma função.

Como o @Tim citou, a função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Essa é apenas uma caracterização heurística. O delta Dirac não é uma função no sentido tradicional, pois nenhuma função definida nos números reais possui essas propriedades. A função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Eu acho que é mais fácil pensar nisso como uma medida (ou seja, basicamente algo contra o qual você se integra). Então, dada uma função f,

μ(f):=f(x) dμ(x)

se você tem uma densidade p (x), isso induz uma medida :P

P(f)=f(x) p(x)dx

e a função delta induz uma medida tal que νν(f)=f(0)

Portanto, a notação de função apenas ajuda, por exemplo, na adição de medidas (Q2). ou seja, o que realmente está dizendo é: ondeμ(f):=i=1nνxi(f)

νxi(f)=f(xi)

Este ponto de vista também esclarece a questão do suporte. o suporte é definido usando funções arbitrárias: todas as funções f sem suporte em zero terão = 0 Suporte a uma distribuiçãoμ(f)

Como mencionado no artigo da wikipedia, a função delta pode ser vista construtivamente como um limite de medidas induzidas por gaussianos com média em zero e desvio padrão de fuga ( ) (denotando pdf gaussiano como )σg(x;μ;σ)

ν(f)=limσ0f(x)g(x;0,σ)dx

seanv507
fonte
Então, se um artigo denota a representação de Monte Carlo de uma distribuição como , isso está formalmente incorreto? 1/Nδ(x)
Constantin
Eu diria que sim, mas ele sempre ajuda a ver a declaração no contexto
seanv507