Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de log seria preferido em relação à outra?
tensorflow
cross-entropy
user76400
fonte
fonte
Respostas:
log base ee log base 2 são apenas um fator constante um do outro:
Portanto, usar um sobre o outro escala a entropia por um fator constante. Ao usar a base de log 2, a unidade de entropia é bits, onde, como no log natural, a unidade é nats.
Um não é melhor que o outro. É como a diferença entre usar km / hora e m / s.
É possível que a base de log 2 seja mais rápida de calcular que o logaritmo. No entanto, na prática, a computação de entropia cruzada nunca é a parte mais cara do algoritmo, portanto não é algo com que se preocupar excessivamente.
fonte