Eu quero comparar dois algoritmos de classificação. Nesses algoritmos, o cliente especifica algumas condições em sua pesquisa. De acordo com os requisitos do cliente, esse algoritmo deve atribuir uma pontuação para cada item da base de dados e recuperar itens com a pontuação mais alta.
Eu li diferentes tópicos relacionados à minha pergunta neste site e procurei na net. De acordo com minhas pesquisas, o artigo mais relevante que explica algumas métricas para comparar algoritmos de classificação foi o seguinte: Brian McFee e Gert RG Lanckriet, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Acho que prec @ k, MAP, MRR e NDCG são boas métricas para usar, mas tenho um problema:
Meu algoritmo classifica os resultados; portanto, o primeiro item da minha lista de resultados é o melhor com a pontuação mais alta, o segundo resultado tem a segunda pontuação máxima e assim por diante. Limito meu algoritmo de pesquisa a, por exemplo, para encontrar 5 melhores resultados. Os resultados são os 5 principais itens. Portanto, a precisão será 1. Quando limito minha pesquisa para encontrar o melhor resultado, ele encontra o melhor. Novamente, a precisão será 1.Mas o problema é que, é inaceitável para quem vê esse resultado.
O que eu posso fazer? Como posso comparar esses algoritmos e mostrar que um é melhor que o outro?