Especificamente, suponho que me pergunto sobre essa afirmação:
As principais versões futuras do TensorFlow permitirão que os gradientes fluam para a entrada de etiquetas no backprop por padrão.
O que é mostrado quando eu uso tf.nn.softmax_cross_entropy_with_logits
. Na mesma mensagem, exorta-me a dar uma olhada tf.nn.softmax_cross_entropy_with_logits_v2
. Examinei a documentação, mas apenas afirma que tf.nn.softmax_cross_entropy_with_logits_v2
:
A retropropagação ocorrerá nos logits e nos rótulos. Para desabilitar a retropropagação nos rótulos, passe os tensores dos rótulos por um stop_gradients antes de alimentá-lo com esta função.
ao contrário de tf.nn.softmax_cross_entropy_with_logits
:
A retropropagação ocorrerá apenas em logits.
Sendo muito novo no assunto (estou tentando passar por alguns tutoriais básicos) essas declarações não são muito claras. Eu tenho um entendimento superficial da retropropagação, mas o que a declaração anterior realmente significa? Como a retropropagação e os rótulos estão conectados? E como isso muda a maneira como trabalho, tf.nn.softmax_cross_entropy_with_logits_v2
em oposição ao original?
fonte
softmax_..._with_logits_v2
funcionarão comosoftmax_with_logits
? (Ou eu poderia usar tf.stop_gradient sobre a variável etiquetas.)