Perda logística multinomial vs (entropia cruzada vs erro quadrado)

Observei que Caffe (uma estrutura de aprendizado profundo) usava a Softmax Loss Layer SoftmaxWithLoss como camada de saída para a maioria das amostras do modelo .

Até onde eu sei, a camada Softmax Loss é a combinação de Camada Multinomial de Perda Logística e Camada Softmax .

De Caffe, eles disseram que

O cálculo do gradiente da Softmax Loss Layer é mais numericamente estável

No entanto, essa explicação não é a resposta que eu quero, a explicação é apenas comparar a combinação da camada Multinomial Logistic Loss Layer e Softmax Loss em vez de camada por camada. Mas não compare com outro tipo de função de perda.

No entanto, gostaria de saber mais quais são as diferenças / vantagens / desvantagens dessas três funções de erro, que são Perdas Logísticas Multinomiais , Entropia Cruzada (CE) e Erro Quadrado (SE) na perspectiva de aprendizado supervisionado? Algum artigo de suporte?

multinomial entropy sums-of-squares softmax karfai
fonte

Apenas uma dica: acho que você receberá uma resposta mais rápida se adicionar a tag "caffe" às suas perguntas. Também postá-lo no stackoverflow em vez de stackexchange pode dar mais atenção).

mcExchange

A combinação facilita o cálculo do gradiente, apenas y-t. willamette.edu/~gorr/classes/cs449/classify.html

Jingpeng Wu

Respostas:

Na minha opinião, a função de perda é a função objetiva que queremos que nossas redes neurais otimizem seus pesos de acordo com ela. Portanto, é específico da tarefa e também de alguma forma empírico. Só para esclarecer, a Perda Logística Multinomial e a Perda de Entropia Cruzada são as mesmas (consulte http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression ). A função de custo da Perda Logística Multinomial é assim: $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

Geralmente é usado para problemas de classificação. O erro quadrado tem a equação como $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

Portanto, geralmente é usado para minimizar o uso de alguns erros de construção.

EDIT: @MartinThoma A fórmula acima de perda logística multinomial é apenas para casos binários, para casos gerais, deve ser , onde K é o número de categorias. $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

beahacker
fonte

No Caffe, MultinomialLogisticLoss é , então quem está errado aqui?

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

moi

Não está errado, são variáveis binárias, no final, elas podem ser reduzidas em sua formulação.

y^{i}

$y^i$

precisa saber é o seguinte

Eu pensei que a perda logística multinomail estivesse sem o segundo pedido, então

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

Martin Thoma

@MartinThoma Minha fórmula é apenas para casos binários, para casos gerais, deve ser

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

beahacker

@beahacker Você poderia me dizer por que o segundo pedido não está incluído no caso multinominal, como apontado por Martin Thoma. Estou tentando entender por que isso é feito assim. Pelo menos você poderia me indicar algum recurso para analisar.

Nandeesh

Gostaria de saber mais quais são as diferenças / vantagens / desvantagens dessas três funções de erro, que são Perdas Logísticas Multinomiais, Entropia Cruzada (CE) e Erro Quadrado (SE) na perspectiva de aprendizado supervisionado?

A perda logística multinomial é atuarialmente a mesma que a entropia cruzada. Observe esta função (a função de custo no softmax ): onde m é o número da amostra, K é o número da classe.

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

A função do indicador ( ) determina se o abaixo é 0 ou 1 na definição de entropia cruzada , que é rotulada como quente nos dados de treinamento é a probabilidade condicional do softmax (q (x) como mostrado abaixo). $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

E MSE é principalmente para a situação em que a função de link é a função de unidade (a distribuição de resposta segue uma distribuição normal), a regressão linear padrão, enquanto a entropia cruzada é normalmente para onde a função de link é a função de logit. Aqui está uma comparação impressionante a que você pode se referir.

Algum artigo de suporte?

Exceto os links, recomendamos este exemplo: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

Lerner Zhang
fonte