Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada:
Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever .
Eu quero saber o que é para alguns neurônios . Minha intuição (mais meu conhecimento limitado de cálculo) me leva a acreditar que esse valor deve ser .
No entanto, isso não parece estar correto. A entropia cruzada é freqüentemente usada em conjunto com a função softmax, de modo que que z é o conjunto de entradas para todos os neurônios na camada softmax ( veja aqui )
A partir deste arquivo , entendo que:
De acordo com esta pergunta : Mas isso entra em conflito com o meu palpite anterior de . Por quê?
fonte