Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada categórica, que normalmente é encontrada na maioria das bibliotecas (como o TensorFlow), haveria uma diferença significativa?
De fato, quais são as diferenças exatas entre uma entropia cruzada categórica e binária? Eu nunca vi uma implementação de entropia cruzada binária no TensorFlow, então pensei que talvez a categórica funcione tão bem.
Respostas:
A perda de entropia cruzada binomial é um caso especial de perda de entropia cruzada multinomial para .m = 2
Onde indexa amostras / observações e indexa classes, e é o rótulo da amostra (binário para LSH, vetor quente no RHS) e é a previsão para uma amostra.Eu j y peu j∈ ( 0 , 1 ) : ∑jpeu j= 1 ∀ i , j
fonte
Entropia cruzada binária é para classificações com vários rótulos, enquanto entropia cruzada categórica é para classificação com várias classes, onde cada exemplo pertence a uma única classe.
fonte
Eu acho que existem três tipos de tarefas de classificação:
Destes, podemos dizer
Quero enfatizar que a classificação multi-classe não é semelhante à classificação multi-rótulo ! Em vez disso, o classificador de vários rótulos empresta uma idéia do classificador binário!
fonte