Perguntas com a marcação «kullback-leibler»

Preciso determinar a divergência KL entre dois gaussianos. Estou comparando meus resultados com esses , mas não consigo reproduzir o resultado deles. Meu resultado está obviamente errado, porque o KL não é 0 para KL (p, p). Gostaria de saber onde estou cometendo um erro e perguntar se alguém pode...

Eu aprendi sobre a intuição por trás da divergência KL quanto o quanto uma função de distribuição de modelo difere da distribuição teórica / verdadeira dos dados. A fonte Estou lendo continua a dizer que a compreensão intuitiva de 'distância' entre estas duas distribuições é útil, mas não deve ser...

Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de...

Percebo que existem muitas diferenças formais entre as medidas de distância Kullback – Leibler vs Kolmogorov-Smirnov. No entanto, ambos são usados ​​para medir a distância entre distribuições. Existe uma situação típica em que um deve ser usado em vez do outro? Qual é a justificativa para fazer...

Estou procurando uma explicação intuitiva para as seguintes perguntas: Na estatística e na teoria da informação, qual é a diferença entre a distância de Bhattacharyya e a divergência de KL, como medidas da diferença entre duas distribuições de probabilidade discretas? Eles não têm absolutamente...

Olhe para essa foto: Se extrairmos uma amostra da densidade vermelha, espera-se que alguns valores sejam menores que 0,25, ao passo que é impossível gerar essa amostra a partir da distribuição azul. Como conseqüência, a distância Kullback-Leibler da densidade vermelha à densidade azul é infinito....

Existem medidas de similaridade ou distância entre duas matrizes de covariância simétricas (ambas com as mesmas dimensões)? Estou pensando aqui em análogos à divergência KL de duas distribuições de probabilidade ou à distância euclidiana entre vetores, exceto aplicada a matrizes. Eu imagino que...

Qual é a diferença prática entre a métrica de Wasserstein e a divergência de Kullback-Leibler ? A métrica de Wasserstein também é chamada de distância do motor da Terra . Da Wikipedia: A métrica de Wasserstein (ou Vaserstein) é uma função de distância definida entre distribuições de...

Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log P ( x )H( P, Q ) = - ∑xP( X ) logQ...

Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu...

Estou estudando árvores de classificação e regressão, e uma das medidas para a localização da divisão é a pontuação GINI. Agora, estou acostumado a determinar a melhor localização de divisão quando o log da razão de probabilidade dos mesmos dados entre duas distribuições é zero, o que significa...

Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...

Por que a divergência KL não é negativa? Da perspectiva da teoria da informação, tenho uma compreensão tão intuitiva: Digamos que existem dois conjuntos AAA e BBB que são compostos do mesmo conjunto de elementos rotulados por xxx . p(x)p(x)p(x) e q(x)q(x)q(x) são distribuições de probabilidade...

Vamos considerar as duas distribuições de probabilidade a seguir P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 divergência de Kullback-Leibler igual a . Quero saber em geral o que esse número me mostra? Geralmente, a divergência...

Estou usando o KL Divergence como uma medida de dissimilaridade entre 2 e .p . m . f.p.m.f.p.m.f. QPPPQQQ =-ΣP(Xi)ln(Q(Xi))+ΣP(Xi)ln(P(Xi))DKeu( P| | Q)= ∑i = 1Nem( PEuQEu) PEuDKeu(P||Q)=∑Eu=1Nem⁡(PEuQEu)PEuD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ P( XEu) l n( Q (...

Vou usar a divergência KL no meu código python e recebi este tutorial . Nesse tutorial, implementar a divergência de KL é bastante simples. kl = (model * np.log(model/actual)).sum() Pelo que entendi, a distribuição de probabilidade de modele actualdeve ser <= 1. Minha pergunta é: qual é o...

Eu sei que a divergência KL não é simétrica e não pode ser estritamente considerada uma métrica. Se sim, por que é usado quando o JS Divergence satisfaz as propriedades necessárias para uma métrica? Existem cenários em que a divergência de KL pode ser usada, mas não a JS Divergence ou...

Estou comparando duas distribuições com a divergência de KL, que me retorna um número não padronizado que, de acordo com o que li sobre essa medida, é a quantidade de informações necessárias para transformar uma hipótese na outra. Eu tenho duas perguntas: a) Existe uma maneira de quantificar uma...

Eu não sou um matemático. Eu pesquisei na Internet sobre KL Divergence. O que aprendi é que a divergência KL mede as informações perdidas quando aproximamos a distribuição de um modelo em relação à distribuição de entrada. Eu já vi isso entre duas distribuições contínuas ou discretas. Podemos...

Se p(x)p(x)p(x) é uma distribuição de probabilidade com valores diferentes de zero em [0,+∞)[0,+∞)[0,+\infty) , para que tipo (s) de p(x)p(x)p(x) existe uma constante c>0c>0c\gt 0 tal que ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{...