Quando é uma regra de pontuação adequada uma melhor estimativa de generalização em uma configuração de classificação?

9

Uma abordagem típica para resolver um problema de classificação é identificar uma classe de modelos candidatos e, em seguida, executar a seleção de modelos usando algum procedimento, como validação cruzada. Normalmente, seleciona-se o modelo com a maior precisão, ou alguma função relacionada que codifica informações específicas do problema, como Fβ .

Assumindo que o objetivo final é produzir um classificador preciso (onde a definição de precisão é novamente dependente do problema), em que situações é melhor executar a seleção do modelo usando uma regra de pontuação adequada, em oposição a algo impróprio, como precisão, precisão, recall etc? Além disso, vamos ignorar questões de complexidade do modelo e assumir a priori que consideramos todos os modelos igualmente prováveis.

Anteriormente, eu nunca teria dito. Sabemos, em um sentido formal, a classificação é um problema mais fácil que a regressão [1], [2] e podemos derivar limites mais estreitos para o primeiro do que para o posterior ( ). Além disso, há casos em que a tentativa de corresponder com precisão as probabilidades pode resultar em limites de decisão incorretos ou sobreajuste . No entanto, com base na conversa aqui e no padrão de votação da comunidade em relação a essas questões, venho questionando essa visão.

  1. Devroye, Luc. Uma teoria probabilística do reconhecimento de padrões. Vol. 31. springer, 1996., Seção 6.7
  2. Kearns, Michael J. e Robert E. Schapire. Aprendizagem eficiente e livre de distribuição de conceitos probabilísticos. Foundations of Computer Science, 1990. Proceedings., 31º Simpósio Anual em. IEEE, 1990.

Esta afirmação pode ser um pouco superficial. Quero dizer especificamente que, dados dados rotulados no formato S = { ( x 1 , y 1 ) , , ( x n , y n ) } com x iX e y i{ 1 , , K } , parece ser mais fácil estimar um limite de decisão do que estimar com precisão probabilidades condicionais.()S={(x1,y1),,(xn,yn)}xiXyi{1,,K}

alto
fonte

Respostas:

4

Pense nisso como uma comparação entre o teste / Wilcoxon e o teste mediano de Mood. O teste da mediana utiliza a classificação ideal (acima ou abaixo da mediana para uma variável contínua), de forma que apenas perde 1t da informação na amostra. A dicotomização em um ponto diferente da mediana perderá muito mais informações. O uso de uma regra de pontuação inadequada, como a proporção classificada "corretamente", é no máximo21π ou cerca de22π eficiente. Isso resulta na seleção dos recursos errados e na descoberta de um modelo falso.23

Frank Harrell
fonte
hHP(x,y)D(h(x)y)SD
2
O problema é que a classificação (em oposição à previsão de risco) é uma dicotomização desnecessária.
Frank Harrell
Portanto, é seguro supor que a resposta a essa pergunta nunca seja, desde que o objetivo seja a tomada de decisão ideal da Bayes com relação a alguma função de utilidade e que não corresponda exatamente às probabilidades?
alto
Prob(Y=1|X=x)Prob(Y=1|X>c)
11
Boa discussão. Em alguns casos, como em alguns detectores de spam, você pode obter um 'incerto'. Estou mais preocupado com a limitação de problemas como diagnóstico médico e prognóstico.
25714 Frank Barrett