Existe alguma distância de probabilidade que preserve todas as propriedades de uma métrica?

13

Ao estudar a distância Kullback-Leibler, aprendemos muito rapidamente que não respeita nem a desigualdade do triângulo nem a simetria, propriedades necessárias de uma métrica.

Minha pergunta é se existe alguma métrica das funções de densidade de probabilidade que atendam a todas as restrições de uma métrica .

distributions distance metric Jorge Leitao
fonte
Focar nas densidades de probabilidade é focar no objeto "errado". Quanto às métricas, existem as "clássicas", por exemplo, Lévy (e a métrica Ky Fan relacionada a variáveis ​​aleatórias), Wasserstein e outras mais próximas de KL, por exemplo, divergência de Jensen-Shannon . Embora quase sempre negligencie historicamente, observe que no artigo original da KL , a divergência da KL era de fato simétrica (embora ainda não seja uma métrica).
cardeal
1
@ cardinal, bem, eu não estou muito no campo, você pode sugerir o objeto "certo"?
Jorge Leitao 17/02
2
JC: Desculpe, a caixa de comentários ficou pequena demais para tudo o que eu estava tentando encaixar lá. Eu deveria ter elaborado. A função de distribuição cumulativa acaba sendo um objeto de estudo mais geral e natural. :-)
cardeal
@ cardinal por quê? ;)
Jorge Leitão

Respostas:

19

eu2

John Jiang
fonte
2
Esse é um bom artigo - especialmente a figura 1. Estou guardando uma cópia para referência futura.
Pat
1

Existem algumas modificações na divergência de KL que o fazem adquirir algumas das propriedades da métrica (embora não todas).

Por exemplo, a divergência de Jeffrey modifica a divergência de KL para torná-la simétrica.

Existem alguns casos especiais, veja [1]: "Infelizmente, medidas tradicionais baseadas na divergência Kullback-Leibler (KL) e na distância Bhattacharyya não satisfazem todos os axiomas métricos necessários para muitos algoritmos. Neste artigo, propomos uma modificação para o KL divergência e a distância de Bhattacharyya, para densidades gaussianas multivariadas, que transforma as duas medidas em métricas de distância ".

[1] K. Abou-Moustafa e F. Ferrie, "Uma nota sobre propriedades métricas para algumas medidas de divergência: o caso gaussiano", JMLR: Procedimentos de oficinas e conferências 25: 1–15, 2012.

user29652
fonte