Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a...
Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de...
Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada...
Em 5.5, Deep Learning (de Ian Goodfellow, Yoshua Bengio e Aaron Courville), afirma que Qualquer perda que consiste em uma probabilidade logarítmica negativa é uma entropia cruzada entre a distribuição empírica definida pelo conjunto de treinamento e a distribuição de probabilidade definida pelo...
Ao treinar redes neurais de segmentação de pixel, como redes totalmente convolucionais, como você decide usar a função de perda de entropia cruzada versus a função de perda de coeficiente de dados? Sei que essa é uma pergunta curta, mas não tenho certeza de que outras informações fornecer....
Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log P ( x )H( P, Q ) = - ∑xP( X ) logQ...
Estou experimentando um pouco de auto-codificadores e, com o tensorflow, criei um modelo que tenta reconstruir o conjunto de dados MNIST. Minha rede é muito simples: X, e1, e2, d1, Y, onde e1 e e2 são camadas de codificação, d2 e Y são camadas de decodificação (e Y é a saída reconstruída). X tem...
O custo da entropia cruzada faz sentido no contexto da regressão (em oposição à classificação)? Se sim, você poderia dar um exemplo de brinquedo através do TensorFlow? Se não, por que não? Eu estava lendo sobre entropia cruzada em Redes Neurais e Deep Learning, de Michael Nielsen, e parece que...
Comecei aprendendo sobre redes neurais com o tutorial neuralnetworksanddeeplearning dot.com. Em particular no capítulo 3, há uma seção sobre a função de entropia cruzada e define a perda de entropia cruzada como: C= - 1n∑x∑j( yjemumaeuj+ ( 1 - yj) em( 1 - aeuj)
Eu entendo que, dado um conjunto de observações independentes o Estimador de Máxima Verossimilhança (ou, equivalentemente, o MAP com flat / uniform anterior) que identifica os parâmetros \ mathbf {θ} que produzem a distribuição do modelo p_ {model} \ esquerda (\, \ cdot \,; \ mathbf {θ} \ right)...
Para duas distribuições discretas e q , a entropia cruzada é definida comopppqqq H( p , q) = - ∑xp ( x ) logq( X ) .H(p,q)=−∑xp(x)logq(x).H(p,q)=-\sum_x p(x)\log q(x). Eu me pergunto por que isso seria uma medida intuitiva de distância entre duas distribuições de probabilidade? Vejo que é a...
Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada: E=−∑jtjlnojE=−∑jtjlnojE = -\sum_jt_j\ln o_j Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever...
Há uma afirmação de que maximizar a probabilidade é equivalente a minimizar a entropia cruzada. Existe alguma prova para esta
Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de log seria preferido em relação à...