Diferença na base de log para a calcificação de entropia cruzada

8

Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de log seria preferido em relação à outra?

user76400
fonte
Não faz diferença se usado de forma consistente.
3030 Carl

Respostas:

15

log base ee log base 2 são apenas um fator constante um do outro:

logenlog2n=loge2logee=loge2

Portanto, usar um sobre o outro escala a entropia por um fator constante. Ao usar a base de log 2, a unidade de entropia é bits, onde, como no log natural, a unidade é nats.

Um não é melhor que o outro. É como a diferença entre usar km / hora e m / s.

É possível que a base de log 2 seja mais rápida de calcular que o logaritmo. No entanto, na prática, a computação de entropia cruzada nunca é a parte mais cara do algoritmo, portanto não é algo com que se preocupar excessivamente.

shimao
fonte