Entropia cruzada ou probabilidade de log na camada de saída

Eu li esta página: http://neuralnetworksanddeeplearning.com/chap3.html

e disse que a camada de saída sigmóide com entropia cruzada é bastante semelhante à camada de saída softmax com probabilidade logarítmica.

o que acontece se eu usar sigmoid com probabilidade de log ou softmax com entropia cruzada na camada de saída? Está bom? porque vejo que há pouca diferença na equação entre entropia cruzada (eq.57):

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

e probabilidade de log (eq.80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax Malioboro
fonte

A probabilidade logarítmica negativa (eq.80) também é conhecida como entropia cruzada em várias classes (ref: Reconhecimento de padrões e aprendizado de máquina, seção 4.3.4), pois são de fato duas interpretações diferentes da mesma fórmula.

eq.57 é a probabilidade logarítmica negativa da distribuição de Bernoulli, enquanto que a eq.80 é a probabilidade logarítmica negativa da distribuição multinomial com uma observação (uma versão multiclasse de Bernoulli).

Para problemas de classificação binária, a função softmax gera dois valores (entre 0 e 1 e soma a 1) para fornecer a previsão de cada classe. Enquanto a função sigmóide gera um valor (entre 0 e 1) para fornecer a previsão de uma classe (a outra classe é 1-p).

Portanto, a eq.80 não pode ser aplicada diretamente à saída sigmóide, embora seja essencialmente a mesma perda que a eq.57.

Veja também esta resposta .

A seguir, é apresentada uma ilustração simples da conexão entre (sigmoide + entropia cruzada binária) e (softmax + entropia cruzada multiclasse) para problemas de classificação binária.

$0.5$

σ (w x + b) = 0.5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0.5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

A seguir, são apresentados os limites de decisão obtidos usando esses dois métodos, que são quase idênticos.

dontloo
fonte

A quais equações você está se referindo? No livro, as equações são numeradas de maneira diferente. Talvez seja uma edição específica do livro? Você pode esclarecer isso? Estou vendo o livro em users.isr.ist.utl.pt/~wurmd/Livros/school/… , página 209 (seção 4.3.4).

nbro 25/10

@ Nbro ah desculpe pela confusão, eu quis dizer as equações na página vinculada dada na pergunta.

dontloo 17/11

Entropia cruzada ou probabilidade de log na camada de saída

Respostas: