Motivando unidades de saída sigmóide em redes neurais começando com probabilidades de log linear não normalizadas em

Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .$P(y=1|x)$

Para resumir alguns dos materiais que deixe ser um neurónio de saída antes de uma activação é aplicado, onde h é a saída da camada oculta anterior, W é um vector de pesos e b é um viés escalar. O vetor de entrada é denotado x (do qual h é uma função) e o valor de saída é denotado y = ϕ ( z ) onde ϕ é a função sigmóide. O livro deseja definir uma distribuição de probabilidade sobre y usando o valor

$$z = w^Th+b$$ $h$$w$$b$$x$$h$$y=\phi(z)$$\phi$$y$$z$. No segundo parágrafo da página 183:

Nós omitimos a dependência de no momento para discutir como definir uma distribuição de probabilidade sobre y usando o valor z . O sigmóide pode ser motivado através da construção de uma distribuição de probabilidade não normalizada ˜ P ( y ) , que não soma 1. Podemos então dividir por uma constante apropriada para obter uma distribuição de probabilidade válida. Se começarmos com a suposição de que as probabilidades log não-normalizadas são lineares em y e z , podemos exponenciar para obter as probabilidades não-normalizadas. Em seguida, normalizamos para ver que isso gera uma distribuição de Bernoulli controlada por uma transformação sigmoidal de z: log $x$$y$$z$$\tilde P(y)$$y$$z$

$$\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$$

Perguntas: Estou confuso sobre duas coisas, principalmente a primeira:

1. De onde vem a suposição inicial? Por que a probabilidade log não normalizada é linear em e z ? Alguém pode me dar alguma inituition sobre como os autores iniciados com log ~ P ( y ) = y z ?$y$$z$$\log\tilde P(y) = yz$
2. Como segue a última linha?

Existem dois resultados possíveis para . É muito importante, porque essa propriedade altera o significado da multiplicação. Há duas possibilidades:$y \in \{0, 1\}$

$$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$$

Além disso, é importante notar que a probabilidade logarítmica não normalizada para é constante. Essa propriedade deriva da suposição principal. A aplicação de qualquer função determinística ao valor constante produzirá uma saída constante. Essa propriedade simplificará a fórmula final quando realizaremos a normalização em todas as probabilidades possíveis, porque precisamos conhecer apenas a probabilidade não normalizada para y = 1 e para y = 0 sempre é constante. E, como a saída da rede tem uma probabilidade logarítmica não normalizada, exigiremos apenas uma saída, porque outra assumida como constante.$y=0$$y=1$$y=0$

Em seguida, aplicamos exponenciação à probabilidade de logaritmo não normalizado para obter uma probabilidade não normalizada.

$$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$$

Em seguida, apenas normalizamos as probabilidades, dividindo cada probabilidade não normalizada pela soma de todas as probabilidades possíveis não normalizadas.

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$$

$P(y=1)$

$$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$$

$(2y−1)$$0$$-1$$1$$1$

$$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$$

$\sigma$$P(y)$

Também acho difícil seguir este fragmento do livro, e a resposta acima de itdxer merece algum tempo para ser compreendida também por alguém que não seja fluente com probabilidades e raciocínio matemático. No entanto, consegui ler a resposta ao contrário, então comece com o sigmóide de z

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$$

e tente seguir de volta para.

$$\begin{align} \log\tilde P(y) &= yz \end{align}$$

Então faz sentido porque eles começaram a explicação com yz - é por design, o mesmo que o final

$$\begin{align} \sigma((2y-1)z) \end{align}$$

por construção permite obter -1 para y = 0 e 1 para y = 1, que são os únicos valores possíveis de y sob o Bernoulli.

Aqui está um fraseado mais formal que irá agradar àqueles com formação teórica em medidas.

$Y$$P_Y$$y\in \{0,1\}$$P_Y(y)=P(Y=y)$$\tilde P_Y$

Temos a seguinte cadeia de implicações:

$$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$$

$\{0,1\}$$\{-1,1\}$