Construindo uma função de perda específica do problema

Descrição do Problema

Estou iniciando a construção da rede para um problema que eu acho que poderia ter uma função de perda muito mais criteriosa do que uma simples regressão MSE.

Meu problema lida com a classificação de várias categorias ( veja minha pergunta no SO para o que quero dizer com isso), onde há uma distância ou relação definida entre as categorias que devem ser levadas em consideração.

Outro ponto é que o erro não deve ser efetuado pelo número de categorias de tiro presentes. Ou seja, o erro para 5 categorias de disparo com 0,1 de cada uma deve ser igual a 1 categoria de disparo de 0,1. ( disparando, quero dizer que eles são diferentes de zero ou acima de algum limite)

Pontos chave

• classificação multi-categoria (disparo múltiplo de uma só vez)
• relações entre categorias
• A contagem de categorias de disparo não deve afetar a perda:
  • 

Minha tentativa

O erro quadrático médio parece ser um bom lugar para começar:

Isso é simplesmente considerar categoria por categoria, que ainda é valiosa no meu problema, mas perde grande parte da imagem.

Aqui está minha tentativa de retificar a idéia de distância entre categorias. Em seguida, gostaria de levar em consideração o número de categorias disparadas ( chame: v )

Minha pergunta

Eu tenho um histórico muito fraco em estatística; Como resultado, não tenho muitas ferramentas no meu cinto para abordar um problema como este. O tópico abrangente do que estou perguntando parece ser "Ao formar uma função de custo, como combinar várias medidas de custo? Ou que técnicas podemos aplicar para fazer isso?" . Eu também gostaria de ter quaisquer falhas no meu processo de pensamento expostas e melhoradas.

Eu valorizo ​​ser ensinado por que meus erros são erros, em vez de ter alguém que os corrija sem explicação.

Se alguma parte desta pergunta não tiver clareza ou puder ser aprimorada, informe-me.

Você pode usar a perda de dobradiça, que é um limite superior para a perda de classificação; isto é, penaliza o modelo se o rótulo da categoria de pontuação mais alta for diferente do rótulo da classe de verdade do terreno.

Para mais detalhes sobre a relação entre perda de classificação e perda de dobradiça, você pode ler a Seção 2 deste artigo impressionante de CNJ Yu e T. Joachims.

Em resumo, há uma perda de tarefa , geralmente indicada por , que mede a penalidade para prever a saída da entrada quando a saída esperada (verdade da terra) é . A perda de tarefa para a classificação de várias classes é geralmente definida como . No entanto, desde que dependa apenas dos dois rótulos e , você poderá defini-lo da maneira que desejar. Em particular, pode-se ver como um arbitrário$\Delta \left( y_i, \hat{y}(x_i) \right)$$\hat{y}(x_i)$$x_i$$y_i$$\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$$\Delta$$y$$\hat{y}$$\Delta$$K \times K$matriz em que é o número de categorias e indica a penalidade de classificar uma entrada da categoria como pertencente à categoria .$K$$\Delta(a, b)$$a$$b$

Por exemplo: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\ $