Discrepância média máxima (distribuição à distância)

Eu tenho dois conjuntos de dados (dados de origem e destino) que seguem a distribuição diferente. Estou usando o MMD - que é uma distribuição de distância não paramétrica - para calcular a distribuição marginal entre os dados de origem e de destino.

dados de origem, Xs

dados de destino, Xt

adaptação Matrix A

* Dados projetados, Zs = A '* Xs e Zt = A' Xt

* MMD => Distância (P (Xs), P (Xt)) = | média (A'Xs) - média (A ' Xt) |

Isso significa: a distância da distribuição entre os dados de origem e destino no espaço original é equivalente à distância entre os meios de dados projetados de origem e destino no espaço incorporado.

Eu tenho uma pergunta sobre o conceito de MMD.

Na fórmula MMD, por que, com a distância computada no espaço latente, podemos medir a distância da distribuição no espaço original?

obrigado

Pode ajudar a fornecer um pouco mais de uma visão geral do MMD.$\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

Em geral, o MMD é definido pela idéia de representar distâncias entre distribuições como distâncias entre incorporamentos médios de recursos. Ou seja, dizer que temos distribuições $P$ e $Q$ mais de um conjunto $\X$ . O MMD é definido por um mapa de características $\varphi : \X \to \h$ , onde $\mathcal H$ é o que é chamado de espaço Hilbert do kernel em reprodução. Em geral, o MMD é

$$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$$

Como um exemplo, podemos ter $\X = \h = \R^d$ e $\varphi(x) = x$ . Nesse caso:

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$$ de modo que este é apenas o MMD distância entre os meios das duas distribuições. Distribuições correspondentes como essa corresponderão a seus meios, embora possam diferir em sua variação ou de outras maneiras.

$\mathcal X = \mathbb R^d$$\mathcal H = \mathbb R^p$$\varphi(x) = A' x$$A$$d \times p$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$$ $p < d$$A'$

$\X = \R$$\varphi(x) = (x, x^2)$$\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

$\varphi$

$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

$$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$$

---

Atualização: aqui é de onde vem o "máximo" no nome.

$\varphi: \X \to \h$$\langle f, \varphi(x) \rangle_\h = f(x)$$f \in \h$

$\X = \h = \R^d$$\varphi(x) = x$$f \in \h$$w \in \R^d$$f(x) = w' x$$\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

$f$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$$ $\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$$f = g / \lVert g \rVert$

$f$$\h$

Aqui está como eu interpretei o MMD. Duas distribuições são semelhantes se seus momentos forem semelhantes. Aplicando um kernel, posso transformar a variável de modo que todos os momentos (primeiro, segundo, terceiro etc.) sejam computados. No espaço latente, posso calcular a diferença entre os momentos e calculá-la. Isso fornece uma medida da semelhança / dissimilaridade entre os conjuntos de dados.