Comparando Distribuições de Desempenho de Generalização

Digamos que eu tenha dois métodos de aprendizado para um problema de classificação , e , e que estimo o desempenho da generalização com algo como validação cruzada repetida ou inicialização. A partir deste processo, recebo uma distribuição das pontuações e para cada método nessas repetições (por exemplo, a distribuição dos valores da ROC AUC para cada modelo). $A$ $B$ $P_A$ $P_B$

Observando essas distribuições, pode ser que $\mu_A \ge \mu_B$ mas que $\sigma_A \ge \sigma_B$ (ou seja, o desempenho esperado de generalização de $A$ seja maior que $B$ , mas que haja mais incerteza sobre essa estimativa).

Eu acho que isso é chamado de dilema de viés e variância na regressão.

Quais métodos matemáticos posso usar para comparar $P_A$ e $P_B$ e, eventualmente, tomar uma decisão informada sobre qual modelo usar?

Nota: Por uma questão de simplicidade, estou me referindo a dois métodos $A$ e $B$ aqui, mas estou interessado em métodos que podem ser usados para comparar a distribuição de pontuações de ~ 1000 métodos de aprendizagem (por exemplo, de uma pesquisa em grade) e, eventualmente, fazer uma decisão final sobre qual modelo usar.

cross-validation model-selection Amelio Vazquez-Reina
fonte

Penso que o termo tradeoff de desvio-desvio não se aplica aqui, porque você não está decompondo um erro quadrático médio em desvio e desvio, e não está falando sobre a variação de um estimador, mas sobre a variação de uma pontuação.

Lucas

Obrigado @Lucas. Estou tentando estimar a pontuação dos meus classificadores e em dados invisíveis . Para isso, achei que poderia obter a média das pontuações nos dados vistos como meus estimadores (ou seja, e para e respectivamente). A variação desses estimadores é diferente da variação das pontuações e ?

A

$A$

B

$B$

E (P_{A})

$E(P_A)$

E (P_{B})

$E(P_B)$

A

$A$

B

$B$

P_{A}

$P_A$

P_{B}

$P_B$

Amelio Vazquez-Reina

@ user815423426 Acho que a comparação depende da função de perda que você possui. Diebold e Mariano (2002) têm um bom artigo estudando sua pergunta. Eles propuseram alguns testes estatísticos comparando o desempenho da "generalização". Não sei como configurar um link nos comentários. O artigo é: Diebold, Francis X. e Robert S. Mariano. "Comparando a precisão preditiva." Journal of Business & Economic Statistics 20.1 (2002): 134-144.

Semibruin

Respostas:

Se houver apenas dois métodos, A e B, eu calcularia a probabilidade de que, para uma partição arbitrária de treinamento / teste, o erro (de acordo com alguma métrica de desempenho adequada) do modelo A fosse menor que o erro do modelo B. Se essa probabilidade foram maiores que 0,5, eu escolhi o modelo A e, caso contrário, o modelo B (cf. teste U de Mann-Whitney?) No entanto, suspeito fortemente que acabará escolhendo o modelo com a média mais baixa, a menos que as distribuições da estatística de desempenho sejam muito diferentes. -simétrico.

Por outro lado, para pesquisa em grade, a situação é um pouco diferente, pois você não está realmente comparando métodos diferentes, mas ajustando os (hiper) parâmetros do mesmo modelo para ajustar uma amostra finita de dados (neste caso indiretamente via cross -validação). Descobri que esse tipo de ajuste pode ser muito propenso a ajustes excessivos, veja meu artigo

Gavin C. Cawley, Nicola LC Talbot, "Sobre adaptação na seleção de modelos e viés de seleção subsequente na avaliação de desempenho", Journal of Machine Learning Research, 11 (julho): 2079-2107, 2010. ( www )

Eu tenho um artigo em revisão que mostra que provavelmente é melhor usar uma grade relativamente grossa para máquinas de kernel (por exemplo, SVMs) para evitar o excesso de ajuste no critério de seleção de modelo. Outra abordagem (que eu não investiguei, portanto, ressalte!) Seria escolher o modelo com o erro mais alto que não seja estatisticamente inferior ao melhor modelo encontrado na pesquisa em grade (embora possa ser uma abordagem bastante pessimista, especialmente para pequenos conjuntos de dados).

A solução real, porém, provavelmente não é otimizar os parâmetros usando a pesquisa em grade, mas sim calcular a média dos valores dos parâmetros, seja em uma abordagem bayesiana ou apenas como um método de conjunto. Se você não otimizar, é mais difícil ajustar demais!

Dikran Marsupial
fonte

Obrigado Dikran. Quando você diz que "average over the parameter values"eu acho que entendo como fazer isso através de um método de conjunto (por exemplo, construindo a saída do conjunto como a média das saídas do classificador), mas não tenho certeza de como fazer isso com uma abordagem bayesiana ao trabalhar com um modelo discriminativo. Entendo a teoria de uma abordagem totalmente bayesiana (ou seja, evite estimativas pontuais e marginalize os parâmetros para construir o posterior final), mas, assumindo que o meu anterior sobre os parâmetros seja uniforme, isso não seria equivalente à construção do conjunto de médias ?

Amelio Vazquez-Reina

Na abordagem bayesiana, os modelos seriam ponderados por sua probabilidade marginal (ou seja, evidência bayesiana) e por qualquer anterior colocado sobre os hiperparâmetros, portanto, seria um caso especial de calcular a média de um conjunto com um método específico para ponderar os modelos.

Dikran Marsupial