Classificação com aulas ordenadas?

Digamos que eu queira treinar um classificador que atribua uma imagem de uma pessoa jovem , de meia-idade ou velha .

Uma maneira simples seria tratar as classes como categorias independentes e treinar um classificador. Mas, aparentemente, há algum relacionamento entre as classes, como posso usar isso para melhorar?

Estou pensando que talvez eu possa fazer
1) alterar a perda, dizer aumentar a perda de prever jovem como idade ou idade como jovem .
2) transformá-lo em um problema de regressão, jovens , de meia-idade e idosos são representados como digamos 0, 1 e 2.

1) altere a perda, digamos, aumente a perda de prever jovens tão velhos quanto velhos.

Parece uma abordagem razoável.

2) transformá-lo em um problema de regressão, jovens, de meia-idade e velhos são representados como digamos 0, 1 e 2.

Depende do aluno de regressão que você está empregando, mas isso pode ser uma péssima idéia (árvores e derivados provavelmente estariam seguros contra isso, por exemplo). Você tem certeza de que a "distância" (o que quer que isso signifique) entre jovens e meia-idade é a mesma que entre meia-idade e velha?

Como você está aprendendo variáveis ​​nominais, eu recomendo que você trate esse problema como classificação. Mais especificamente, como você sabe, há um relacionamento latente entre classes, classificação ordinal.

Você pode tentar a estratégia proposta por Frank & Hall [1], onde você codificar seu variável resposta a problemas binários. Então, você tenta aprender a distinção entre velhos e não-velhos e jovens e não-jovens, e eles realmente fornecem informações sobre as três categorias. Essa é uma heurística realmente simples que pode superar a abordagem ingênua de várias classes e não altera o funcionamento sublinhado dos alunos.$N$$N-1$

_{[1] Frank, E., & Hall, M. (2001, setembro). Uma abordagem simples para a classificação ordinal. Na Conferência Europeia sobre Aprendizado de Máquina (pp. 145-156). Springer Berlin Heidelberg.}

Eu vi isso recentemente com um classificador de rede neural convolucional trabalhando com seis classes ordinais. Eu tentei três métodos diferentes:

Método 1: Classificação independente padrão

Isso é o que você mencionou como linha de base na pergunta, com o mapeamento:

class 0 -> [1, 0, 0, 0, 0, 0]
class 1 -> [0, 1, 0, 0, 0, 0]
class 2 -> [0, 0, 1, 0, 0, 0]
class 3 -> [0, 0, 0, 1, 0, 0]
class 4 -> [0, 0, 0, 0, 1, 0]
class 5 -> [0, 0, 0, 0, 0, 1]

Normalmente, usaríamos a ativação softmax e a perda cruzada categórica com isso.

No entanto, como você diz, isso não leva em conta o relacionamento entre as classes, de modo que a função de perda é afetada apenas se você atinge a classe certa ou não, e não é afetada pela sua proximidade.

Método 2: função de destino ordinal

Essa é uma abordagem publicada por Cheng et al. (2008) , que também foi referido no StackExchange aqui e aqui . O mapeamento é agora:

class 0 -> [0, 0, 0, 0, 0]
class 1 -> [1, 0, 0, 0, 0]
class 2 -> [1, 1, 0, 0, 0]
class 3 -> [1, 1, 1, 0, 0]
class 4 -> [1, 1, 1, 1, 0]
class 5 -> [1, 1, 1, 1, 1]

Isso é usado com uma ativação sigmóide e perda de entropia cruzada binária. Essa função de destino significa que a perda é menor quanto mais perto você chegar da classe certa.

Você pode prever uma classe a partir da saída deste classificador localizando o primeiro índice que . então fornece a classe prevista.$\{y_k\}$$k$$y_k < 0.5$$k$

Método 3: Transformando a classificação em regressão

Esta é a mesma ideia que a sua segunda. O mapeamento aqui seria:

class 0 -> [0]
class 1 -> [1]
class 2 -> [2]
class 3 -> [3]
class 4 -> [4]
class 5 -> [5]

Eu usei uma ativação linear e perda de erro ao quadrado médio com isso. Como a abordagem anterior, isso também oferece uma perda menor, menos você perde.

Ao prever uma classe com base na saída disso, você pode simplesmente arredondar a saída para o número inteiro mais próximo.

Alguns exemplos de resultados

Avaliei os diferentes métodos com o mesmo conjunto de dados. As métricas eram precisão precisa (atingindo a classe correta) e precisão adjacente (atingindo a classe correta ou um de seus vizinhos), nas versões desequilibrada e equilibrada. Cada valor de métrica mostrado abaixo é encontrado como a média de três execuções.

Para o Método 1 / Método 2 / Método 3, as métricas forneceram:

• Precisão precisa desequilibrada: 0,582 / 0,606 / 0,564
• Precisão precisa equilibrada: 0.460 / 0.499 / 0.524
• Desequilibrada precisão adjacente: 0,827 / 0,835 / 0,855
• Equilibrado precisão adjacente: 0,827 / 0,832 / 0,859

Assim, para meu conjunto de dados e configuração de rede específicos, a abordagem de regressão geralmente faz o melhor, e a abordagem padrão com classes independentes geralmente faz o pior. Não sei até que ponto esses resultados se generalizam para outros casos, mas não deve ser tão difícil adaptar qualquer classificador ordinal para poder usar todos os três métodos para que você possa testar por si mesmo.