Métricas de desempenho para avaliar o aprendizado não supervisionado

Com relação ao aprendizado não supervisionado (como cluster), existem métricas para avaliar o desempenho?

Em certo sentido, acho que essa pergunta não pode ser respondida. Digo isso porque o desempenho de um determinado método não supervisionado dependerá em grande parte do motivo pelo qual alguém está aprendendo sem supervisão em primeiro lugar, ou seja, o método tem um bom desempenho no contexto de seu objetivo final? Obviamente isso não é completamente verdade, as pessoas trabalham nesses problemas e publicam resultados que incluem algum tipo de avaliação. A seguir, descreverei algumas das abordagens com as quais estou familiarizado.

Um bom recurso (com referências) para clustering é a página de documentação do sklearn, Clustering Performance Evaluation . Isso abrange vários métodos, mas todos, exceto um, o Coeficiente da Silhueta, assumem que rótulos verdadeiros estão disponíveis. Este método também é mencionado na pergunta Medida de avaliação de clustering , vinculada nos comentários desta pergunta.

Se o seu método de aprendizado não supervisionado for probabilístico, outra opção é avaliar alguma medida de probabilidade (probabilidade de log, perplexidade etc.) nos dados retidos. A motivação aqui é que, se seu método de aprendizado não supervisionado atribuir alta probabilidade a dados semelhantes que não foram usados ​​para ajustar parâmetros, provavelmente ele fez um bom trabalho ao capturar a distribuição de interesse. Um domínio em que esse tipo de avaliação é comumente usado é a modelagem de linguagem.

A última opção que mencionarei é usar um aluno supervisionado em uma tarefa auxiliar relacionada. Se seu método não supervisionado produz variáveis ​​latentes, você pode pensar nessas variáveis ​​latentes como uma representação da entrada. Portanto, é sensato usar essas variáveis ​​latentes como entrada para um classificador supervisionado que executa alguma tarefa relacionada ao domínio do qual os dados pertencem. O desempenho do método supervisionado pode então servir como substituto para o desempenho do aprendiz não supervisionado. Essa é essencialmente a configuração que você vê na maioria dos trabalhos sobre aprendizado de representação.

Essa descrição provavelmente é um pouco nebulosa, então vou dar um exemplo concreto. Quase todo o trabalho sobre aprendizagem de representação de palavras usa a seguinte abordagem para avaliação:

1. Aprenda representações de palavras usando um aluno não supervisionado.
2. Use as representações aprendidas como entrada para um aluno supervisionado executando algumas tarefas da PNL, como partes da marcação de fala ou reconhecimento de entidade nomeada.
3. Avalie o desempenho do aluno não supervisionado por sua capacidade de melhorar o desempenho do aluno supervisionado em comparação com uma linha de base usando uma representação padrão, como recursos de presença de palavras binárias, como entrada.

Para um exemplo dessa abordagem em ação, consulte o artigo Treinamento de máquinas de Boltzmann restritas em observações de palavras de Dahl et al.