Avaliando o desempenho de um modelo de regressão usando conjuntos de treinamento e teste?

10

Costumo ouvir sobre a avaliação do desempenho de um modelo de classificação, mantendo o conjunto de testes e treinando um modelo no conjunto de treinamento. Em seguida, crie 2 vetores, um para os valores previstos e outro para os valores verdadeiros. Obviamente, fazer uma comparação permite julgar o desempenho do modelo por seu poder preditivo usando coisas como F-Score, Kappa Statistic, Precision & Recall, curvas ROC etc.

Como isso se compara à avaliação de previsão numérica como regressão? Suponho que você possa treinar o modelo de regressão no conjunto de treinamento, usá-lo para prever valores e comparar esses valores previstos com os valores reais presentes no conjunto de teste. Obviamente, as medidas de desempenho teriam que ser diferentes, pois essa não é uma tarefa de classificação. Os resíduos usuais e as estatísticas são medidas óbvias, mas existem mais / melhores maneiras de avaliar o desempenho de modelos de regressão? Parece que a classificação tem muitas opções, mas a regressão é deixada para e resíduos.R2R2

StatTime
fonte
11
Não sei exatamente qual pergunta você está fazendo, mas uma métrica de erro óbvia para um modelo de regressão com saída contínua é o erro quadrado médio (MSE) entre a saída do modelo e a variável de resultado.
BGreene
Portanto, apenas uma medida de erro entre o real e o previsto.
StatTime
Sim, otimizado no conjunto de treinamento e validado usando o conjunto de teste.
BGreene

Respostas:

2

Como dito, normalmente, o erro médio quadrático é usado. Você calcula seu modelo de regressão com base no seu conjunto de treinamento e avalia seu desempenho usando um conjunto de testes separado (um conjunto nas entradas x e saídas previstas conhecidas y) calculando o MSE entre as saídas do conjunto de teste (y) e as saídas fornecidas pelo modelo (f (x)) para as mesmas entradas fornecidas (x).

Como alternativa, você pode usar as seguintes métricas: erro quadrático médio raiz, erro quadrático relativo, erro absoluto médio, erro absoluto relativo ... (solicite definições ao google)

Merima Kulin
fonte
Boa resposta. Tudo isso está associado ao segundo momento da distribuição. Você também pode observar a soma das diferenças se estiver tentando eliminar o viés ou usar qualquer combinação que desejar. Por exemplo, onde A e B são pesos escolhidos para cada método de pontuação. Realmente vai depender de quais fatores são importantes para o seu problema específico. err=A(xxi)+B(xxi)2
Greg Petersen