Quais são as medidas para a precisão dos dados com várias etiquetas?

25

Considere um cenário em que você recebe as matrizes KnownLabel Matrix e PredictedLabel. Eu gostaria de medir a qualidade da matriz PredictedLabel em relação à matriz KnownLabel.

Mas o desafio aqui é que a KnownLabel Matrix tem poucas linhas, apenas uma 1 e outras poucas linhas têm muitos 1's (essas instâncias têm várias legendas). Um exemplo da KnownLabel Matrix é dado abaixo.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Na matriz acima, as instâncias de dados 1 e 2 são dados de rótulo único, as instâncias de dados 3 e 4 são dois dados de rótulo e a instância de dados 5 é os três dados de rótulo.

Agora eu tenho PredictedLabel Matrix de instância de dados usando um algoritmo.

Gostaria de conhecer várias medidas que podem ser usadas para medir a bondade da Matriz PredictedLabel contra a Matriz KnownLabel.

Eu posso pensar na diferença da norma frobeinus entre eles como uma das medidas. Mas estou procurando a medida como precisão(=Correctly_predicted_instancetotal_instance)

Aqui, como podemos definir o para várias instâncias de dados?Correcteuy_predEucted

Aprendiz
fonte
5
(+1) Sidenote: Existe um motivo específico para você não ter aceitado uma resposta na maioria das suas perguntas? Por que você não postou um comentário quando a resposta fornecida não resolveu o seu problema? Por exemplo: stats.stackexchange.com/questions/9947/…
steffen

Respostas:

23

(1) fornece uma boa visão geral:

insira a descrição da imagem aqui

insira a descrição da imagem aqui

A classificação de múltiplas etiquetas da página da Wikipedia contém também uma seção sobre as métricas de avaliação.

Eu acrescentaria um aviso de que, na configuração de vários rótulos, a precisão é ambígua: pode se referir à proporção exata de correspondência ou à pontuação de Hamming (consulte este post ). Infelizmente, muitos artigos usam o termo "precisão".


(1) Sorower, Mohammad S. " Uma pesquisa bibliográfica sobre algoritmos para aprendizado de vários rótulos " . Oregon State University, Corvallis (2010).

Franck Dernoncourt
fonte
2
Essas definições vão de encontro às definições gerais de Precision and Recall? Eu sempre li que a precisão deve ser dividida por TP + FP e a recordação deve ser dividida por TP + FN (as definições propostas aqui fazem o oposto se eu entendi bem).
tomasyany
YEuY={0 0,1}kEuZEu=h(xEu)={0 0,1}khYEuZEu
para a accuracymedida, como você lida com casos elegantes em que o denominador |Y + Z| == 0?
Ihadanny
3
@tomasyany está se referindo às definições de texto (não às fórmulas), que parecem ter sido trocadas.
Narfanar
E essa definição de AP parece mais com mAP (AP médio), não? O que é chamado de 'Precisão' é a média de IoU. Os termos são um pouco confusos em geral.
Narfanar
3

Correctly Predictedé a interseção entre o conjunto de rótulos sugeridos e o conjunto esperado. Total Instancesé a união dos conjuntos acima (sem contagem duplicada).

Portanto, dado um exemplo único em que você prediz classes A, G, Ee o caso de teste tem E, A, H, Pcomo os corretos, você acaba comAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

Marsellus Wallace
fonte