Como posso converter a distância (euclidiana) em pontuação de similaridade

13

Estou usando $k$ significa agrupar para agrupar as vozes dos alto-falantes. Quando comparo um enunciado com os dados do alto-falante em cluster, obtenho distorção média (baseada na distância euclidiana). Essa distância pode estar na faixa de $[0,\infty]$ . Eu quero converter essa distância para uma pontuação de similaridade $[0,1]$ . Por favor, me guie sobre como eu posso conseguir isso.

clustering k-means distance euclidean Maomé
fonte

15

Se $d(p_1,p_2)$ representa a distância euclidiana do ponto $p_1$ ao ponto $p_2$ ,

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

é comumente usado.

TrynnaDoStat
fonte

Por favor me corrijam se eu estiver errado, se temos

e

onde cada

e

é de dimensão

. Então podemos definir semelhanças, como

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$

x

$x$

y

$y$

D

$D$

.

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$

Muhammad

Entendo que o mais 1 no denominador é evitar dividir por erro zero. Mas descobri que o valor mais um afeta desproporcionalmente os valores de d (p1, p2) maiores que 1 e, finalmente, reduz significativamente a pontuação de similaridade. Há outra maneira de fazer isso? Talvez s = 1-d (p1, p2)

aamir23

9

Você também pode usar: ondeé a sua função distância desejada. $\frac{1}{e^{dist}}$ dist

Exceção não tratada
fonte

Você pode fornecer algum livro / documentação de referência relacionados a esta equação em que você a encontrou? @Dougal

Justlife

@AnimeshKumarPaul Não escrevi esta resposta, apenas aprimorei sua formatação. Mas é freqüentemente usado como uma versão, por exemplo, de um "kernel RBF generalizado"; veja por exemplo aqui . Essa questão diz respeito à questão de saber se a saída é um kernel definido positivo; se você não se importa com isso, pelo menos, satisfaz uma noção intuitiva de similaridade de que pontos mais distantes são menos semelhantes.

Dougal

@ Justlife: pesquise no Google por esta "enciclopédia de distâncias" e escolha o resultado com o documento pdf.

Exceção não tratada

6

Parece que você deseja algo semelhante à semelhança de cosseno, que é em si uma pontuação de similaridade no intervalo de unidade. De fato, existe uma relação direta entre distância euclidiana e semelhança de cosseno!

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

While cosine similarity is

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$

θ

$\theta$

x

$x$

x^{'}

$x^\prime$

$||x||=||x^\prime||=1,$

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$ and

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

so

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$ in this special case.

From a computational perspective, it may be more efficient to just compute the cosine, rather than Euclidean distance and then perform the transformation.

Sycorax says Reinstate Monica
fonte

I'm confused by your notation here. Is

‖ x, x^{'} ‖^{2}

$\lVert x, x' \rVert^2$ supposed to be

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ (in which case I think the relation is incorrect, as it doesn't account for

‖ x ‖

$\lVert x \rVert$ or

‖ x^{'} ‖

$\lVert x' \rVert$ ), or something based on

⟨ x, x^{'} ⟩

$\langle x, x' \rangle$ ? The cosine similarity I'm familiar with is simply

x^{T} x^{'} / (‖ x ‖ ‖ x^{'} ‖)

$x^T x' / (\lVert x \rVert \lVert x' \rVert)$ , though Wikipedia says the "angular similarity"

1 - \frac{2}{π} \frac{x^{T} x^{'}}{‖ x ‖ ‖ x^{'} ‖}

$1 - \frac2\pi \frac{x^T x'}{\lVert x \rVert \lVert x' \rVert}$ is also sometimes called that.

Dougal

@Dougal Blah. Correct. I've revised to make it intelligible.

Sycorax says Reinstate Monica

Cool. Note though that since the OP said distances are unbounded, it seems like we don't have

‖ x ‖ = 1

$\lVert x \rVert = 1$ . Also, your expansion of

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ is mistaken; it should be

‖ x ‖^{2} + ‖ x^{'} ‖^{2} - 2 x^{T} x^{'}

$\lVert x \rVert^2 + \lVert x' \rVert^2 - 2 x^T x'$ , though the rest of your post handles it correctly. :)

Dougal

3

How about a Gaussian kernel ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

wij
fonte

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

Brad
fonte

Como posso converter a distância (euclidiana) em pontuação de similaridade

Respostas: