Identidade integral do lema contida no artigo infoGAN

8

Encontrei um lema no jornal infoGAN . Não compreendo a derivação do Lema 5.1 na adenda do artigo. É o seguinte (incluído como png):

Eu não entendo o último passo. Por que alguém pode puxar para a integral mais interna, transformando-a em ? Quais são as condições de regularidade adequadas de ? $f(x,y)$ $f(x',y)$ $f$

probability pdf conditional-expectation integral spurra
fonte

Eu olhei para o jornal e não acho que a prova que você escreveu acima seja exatamente igual à do jornal. Pareceu-me que f (x, y) foi retirado da integral mais interna porque não depende de x '.

Michael R. Chernick

O png é uma captura de tela do artigo :) #

spurra

5

Considere a diferença obtido movendo para aintegral e calculando a diferença com substituído por . Condicionalizando em ,

D = \int_{x} \int_{y} P (x, y) \int_{x^{'}} P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y

$D = \int_x \int_y P(x,y) \int_{x'} P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy$

f (x, y)

$f(x,y)$

x^{'}

$x'$

x

$x$

x^{'}

$x'$

x

$x$

y

$y$

Esse objeto interior

D = \int_{y} P (y) \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y .

$D = \int_y P(y) \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy.$

é anti-simétrico após a troca das variáveis fictícias

e

, tornando-se seu próprio negativo e, portanto, é igual a zero. Suspeito que as condições de regularidade sejam simplesmente aquelas que impedem a divergência dessas integrais.

δ = \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x

$\delta = \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx$

x

$x$

x^{'}

$x'$

jwimberley
fonte

Ainda não tive tempo de rever sua resposta. Concedi a recompensa de boa-fé, já que está prestes a terminar em 10 minutos, e retornarei a você com todas as possíveis perguntas de esclarecimento que tiver.

Spurra

1

Este é um truque bem conhecido? Sem a sua explicação, acho muito difícil seguir a prova no jornal.

Attila Kun

1

@kahoon, a resposta de William abaixo é praticamente idêntica à minha, mas muito mais direta. Na verdade, eu me preocupei com as condições de regularidade, mas acho que outra resposta mostra que elas são imateriais. Eu diria que os dois truques são bem conhecidos, mas a simples troca e troca de marchas que William mostra é provavelmente a maneira que os leitores deveriam seguir; Eu acho que teria ficado mais claro se eles adicionassem a linha extra que William mostra.

precisa saber é o seguinte

@jwimberley Thanks! A parte "swap xex" da resposta de William me confundiu por um momento, mas acho que é legal fazer isso, pois estamos apenas rotulando novamente as variáveis fictícias, certo?

Attila Kun

@kahoon Exatamente

jwimberley 19/09/18

3

Ou, após a terceira linha

\begin{aligned} = \int_{x} \int_{y} p (x | y) p (y) f (x, y) \int_{x^{'}} p (x^{'} | y) d x^{'} d y d x \\ = \int_{x} \int_{y} p (x | y) f (x, y) \int_{x^{'}} p (x^{'}, y) d x^{'} d y d x . \end{aligned}

$\begin{align} &=\int_x\int_yp(x|y)p(y)f(x,y)\int_{x'}p(x'|y)dx'dydx\\ &=\int_x\int_yp(x|y)f(x,y)\int_{x'}p(x',y)dx'dydx. \end{align}$

$x$ $x'$

William
fonte

0

Bem, acho que será mais intuitivo se derivarmos a equação inversamente como

\begin{aligned} E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] & = \int_{x} p (x) \int_{y} p (y | x) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d y d x \\ = \int_{y} p (y) \int_{x} p (x | y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d x d y \\ = \int_{y} p (y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) \underset{= 1}{\underset{⏟}{\int_{x} p (x | y) d x}} d x^{'} d y \\ = \int_{y} p (y) \int_{x} p (x | y) f (x, y) d x d y \\ = \int_{x} p (x) \int_{y} p (y | x) f (x, y) d y d x \\ = E_{x \sim X, y \sim Y | x} [f (x, y)] \end{aligned}

$\begin{align*} E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right] & = \int_x p(x) \int_y p(y|x) \int_{x'} p(x'|y) f(x', y) dx'dydx \\ & = \int_y p(y) \int_x p(x|y) \int_{x'} p(x'|y) f(x', y) dx'dxdy \\ & = \int_y p(y) \int_{x'} p(x'|y) f(x', y) \underbrace{\int_x p(x|y) dx}_{=1}dx'dy \\ & = \int_y p(y) \int_{x} p(x|y) f(x, y) dxdy \\ & = \int_x p(x) \int_{y} p(y|x) f(x, y) dydx \\ & = E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] \end{align*}$

Evitar
fonte

0

\begin{matrix} (1) & E_{x \sim X, y \sim Y | x} [f (x, y)] = E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] \end{matrix}

$E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] = E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right]\tag1$

$(X,Y,X')$
$\begin{matrix} (2) & P_{X, Y, X^{'}} (x, y, z) = P_{X} (x) P_{Y | X} (y | x) P_{X | Y} (z | y), \end{matrix}$ $P_{X,Y,X'}(x,y,z)=P_X(x)P_{Y|X}(y|x)P_{X|Y}(z|y),\tag2$ $E[f(X,Y)] = E[f(X',Y)]$

$(X,Y)$ $(X',Y)$

P_{X^{'} | Y} (z | y) = \int_{x} \frac{P_{X, Y, X^{'}} (x, y, z)}{P_{Y} (y)} d x \overset{(2)}{=} \int_{x} P_{X | Y} (x | y) P_{X | Y} (z | y) d x = P_{X | Y} (z | y) .

$P_{X'|Y}(z|y)=\int_x\frac{ P_{X,Y,X'}(x,y,z)}{P_Y(y)}\,dx\stackrel{(2)}= \int_x P_{X|Y}(x|y)P_{X|Y}(z|y)\,dx=P_{X|Y}(z|y).$

E f (X, Y)

$Ef(X,Y)$

grand_chat
fonte

Identidade integral do lema contida no artigo infoGAN

Respostas: