Como interpretar medidas de erro?

Estou executando o classify no Weka para um determinado conjunto de dados e notei que, se estou tentando prever um valor nominal, a saída mostra especificamente os valores previstos correta e incorretamente. No entanto, agora estou executando-o para um atributo numérico e a saída é:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441 

Como eu interpreto isso? Eu tentei pesquisar cada noção no Google, mas não entendo muito, pois as estatísticas não estão no meu campo de especialização. Eu apreciaria muito um tipo de resposta ELI5 em termos estatísticos.

Vamos denotar o verdadeiro valor do interesse como e o valor estimado usando algum algoritmo como .$\theta$$\hat{\theta}$

A correlação informa quanto e estão relacionados. Fornece valores entre e , onde não possui relação, é muito forte, relação linear e é uma relação linear inversa (ou seja, valores maiores de indicam valores menores de ou vice versa). Abaixo, você encontrará um exemplo ilustrado de correlação.$\theta$$\hat{\theta}$$-1$$1$$0$$1$$-1$$\theta$$\hat{\theta}$

(fonte: http://www.mathsisfun.com/data/correlation.html )

O erro absoluto médio é:

$$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$$

O erro quadrático médio da raiz é:

$$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$$

Erro absoluto relativo :

$$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$$

onde é o valor médio de .$\overline{\theta}$$\theta$

Erro quadrático relativo da raiz:

$$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$$

Como você vê, todas as estatísticas comparam valores verdadeiros às estimativas, mas de uma maneira ligeiramente diferente. Todos eles dizem "a que distância" estão os valores estimados do valor real de . Às vezes, raízes quadradas são usadas e, às vezes, valores absolutos - isso ocorre porque, ao usar raízes quadradas, os valores extremos têm mais influência no resultado (consulte Por que quadrado a diferença em vez de considerar o valor absoluto no desvio padrão? Ou no Mathoverflow ).$\theta$

Em e você simplesmente analisa a "diferença média" entre esses dois valores - então você os interpreta comparando com a escala do seu valor disponível (por exemplo, de 1 ponto é um diferença de 1 ponto de entre e ).R M S E H S E q q$\mathrm{ MAE}$$\mathrm{ RMSE}$$\mathrm{ MSE}$$\theta$$\hat{\theta}$$\theta$

Em e você divide essas diferenças pela variação de para que elas tenham uma escala de 0 a 1 e se você multiplicar esse valor por 100, obterá similaridade na escala de 0 a 100 (ou seja, porcentagem ) Os valores de oudiga o quanto difere do valor médio - para que você possa dizer que é o quanto difere de si mesmo (compare com a variação ). Por esse motivo, as medidas são nomeadas "relativas" - elas fornecem resultados relacionados à escala de .R R S E θ ∑ ( ¯ θ - θ i ) 2 ∑ | ¯ θ - θ i | θ θ $\mathrm{ RAE}$$\mathrm{ RRSE}$$\theta$$\sum(\overline{\theta} - \theta_i)^2$$\sum|\overline{\theta} - \theta_i|$$\theta$$\theta$$\theta$

Veja também os slides .