Erro absoluto médio OU erro quadrático médio da raiz?

Por que usar o erro médio quadrático da raiz (RMSE) em vez do erro absoluto médio (MAE)?

Estive investigando o erro gerado em um cálculo - inicialmente calculei o erro como um erro quadrático normalizado médio da raiz.

Olhando um pouco mais de perto, vejo que os efeitos de quadratura do erro dão mais peso a erros maiores do que os menores, inclinando a estimativa de erro em direção ao estranho estranho. Isso é bastante óbvio em retrospecto.

Então, minha pergunta - em que caso o erro médio quadrático da raiz seria uma medida de erro mais apropriada do que o erro absoluto médio? O último parece mais apropriado para mim ou estou faltando alguma coisa?

Para ilustrar isso, anexei um exemplo abaixo:

O gráfico de dispersão mostra duas variáveis com uma boa correlação,
os dois histogramas à direita registram o erro entre Y (observado) e Y (previsto) usando RMSE normalizado (em cima) e MAE (em baixo).

insira a descrição da imagem aqui

Não há discrepantes significativos nesses dados e o MAE apresenta um erro menor que o RMSE. Existe algum racional, além do preferencial do MAE, para usar uma medida de erro sobre a outra?

least-squares mean rms mae user1665220
fonte

Como o RMSE e o MAE são duas medidas diferentes de erro, uma comparação numérica entre eles (envolvida em afirmar que o MAE é "menor" que o RMSE) não parece significativa. Essa linha deve ter sido ajustada de acordo com algum critério: esse critério, qualquer que seja, deve ser a medida de erro relevante.

whuber

a linha foi ajustada usando mínimos quadrados - mas a figura é apenas um exemplo para mostrar a diferença no erro medido. Meu problema real é o uso de um otimizador para resolver quatro parâmetros de função para uma medida de erro minimizado, MAE ou RMSE.

precisa saber é o seguinte

Obrigado pelo esclarecimento. Mas em que erro você está interessado, exatamente? O erro no ajuste ou os erros nas estimativas de parâmetro ?

whuber

O erro no ajuste. Eu tenho algumas amostras de laboratório que fornecem y, que eu quero prever usando uma função. Otimizo a função para 4 expoentes, minimizando o erro de ajuste entre os dados observados e os previstos.

precisa saber é o seguinte

No RMSE, consideramos a raiz do número de itens (n). Essa é a raiz do MSE dividida pela raiz de n. A raiz do MSE está correta, mas, em vez de dividir por n, é dividida pela raiz de n para receber o RMSE. Estou sentindo que seria uma política. A realidade seria (Raiz do MSE) / n. Dessa forma, o MAE é melhor.

Respostas:

Isso depende da sua função de perda. Em muitas circunstâncias, faz sentido atribuir mais peso a pontos mais distantes da média - ou seja, desabilitar por 10 é mais do que o dobro da desoneração por 5. Nesse caso, o RMSE é uma medida de erro mais apropriada.

Se estar de folga às dez é apenas duas vezes pior que o de cinco, o MAE é mais apropriado.

De qualquer forma, não faz sentido comparar o RMSE e o MAE entre si, como você faz na penúltima sentença ("O MAE dá um erro menor que o RMSE"). O MAE nunca será maior que o RMSE, devido à maneira como são calculados. Eles só fazem sentido em comparação com a mesma medida de erro: você pode comparar o RMSE do método 1 ao RMSE do método 2 ou o MAE do método 1 ao MAE do método 2, mas não pode dizer que o MAE é melhor que o RMSE do método 1 porque é menor.

Jonathan Christensen
fonte

Entendo que o MAE nunca será maior que o RMSE. Eu tenho usado ambas as estimativas de erro e analisado a diferença entre os valores para dar uma indicação do impacto dos valores discrepantes. Ou seja, quando eles estão próximos, quando eles se afastam, eu investigo para ver o que está acontecendo. Por fim, quero prever os parâmetros que melhor se adequam aos dados e, por exemplo, 9% de erro soam melhor que 12% - eu só queria ter certeza de que estou escolhendo o caminho certo pelo motivo certo. Elogios para o seu conselho

user1665220

A principal diferença entre o RMSE (conseqüentemente MSE) e o MAE não é sobre como eles pesam erros. Você pode usar uma função de peso, se necessário. A principal diferença é que o MSE está relacionado ao espaço L2 (o MAE não existe). Por exemplo, o MSE pode medir a quantidade de energia necessária para um controle de malha fechada quando E é o sinal de feedback (Lembre-se do quadrado médio de um sinal, neste caso, erro é proporcional à sua energia). Também grande parte da matemática e consequentemente algoritmos como Marquardt-Levenberg trabalham nesse espaço. Simplificando, eles usam o MSE como sua função objetivo.

eulerleibniz

Aqui está outra situação em que você deseja usar o (R) MSE em vez do MAE: quando a distribuição condicional de suas observações é assimétrica e você deseja um ajuste imparcial. O (R) MSE é minimizado pela média condicional , o MAE pela mediana condicional . Portanto, se você minimizar o MAE, o ajuste estará mais próximo da mediana e tendencioso.

Claro, tudo isso realmente depende da sua função de perda.

O mesmo problema ocorre se você estiver usando o MAE ou (R) MSE para avaliar previsões ou previsões . Por exemplo, dados de vendas de baixo volume normalmente têm uma distribuição assimétrica. Se você otimizar o MAE, poderá se surpreender ao descobrir que a previsão ideal do MAE é uma previsão zero plana.

Aqui está uma pequena apresentação sobre isso e aqui está um comentário recente convidado sobre a competição de previsão M4, onde expliquei esse efeito .

S. Kolassa - Restabelecer Monica
fonte

+1. A idéia de comparar distribuições é ótima, mas ... uma métrica como a que você apresenta falharia miseravelmente em algo como N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? As densidades preditivas de "diferença" seriam mínimas, mas o real yhatseria inútil. É verdade que este é um caso extremo. (Eu poderia estar faltando alguma coisa óbvia, desculpas para isso com antecedência - Eu não tenho acesso ao papel apenas a apresentação.)

usεr11852 diz Reintegrar Monic

\hat{y} = 1

$\hat{y}=1$

Muito obrigado pelos esclarecimentos; Eu posso conceituar a apresentação melhor agora. (Hmm ... eu preciso pegar seu trabalho, afinal de contas. :))

usεr11852 diz Reinstate Monic

@ usεr11852: não hesite em entrar em contato comigo por e-mail ( encontre o endereço aqui ) - se o seu e-mail não acabar no meu filtro de spam, enviarei com satisfação esse papel.

S. Kolassa - Restabelece Monica

@ usεr11852 Eu te perdi completamente depois de "like N =" o que é isso?

sak 16/07

O RMSE é uma maneira mais natural de descrever a perda na distância euclidiana. Portanto, se você fizer o gráfico em 3D, a perda será em forma de cone, como você pode ver acima em verde. Isso também se aplica a dimensões mais altas, embora seja mais difícil visualizá-lo.

O MAE pode ser considerado uma distância do quarteirão da cidade. Não é realmente tão natural uma maneira de medir a perda, como você pode ver no gráfico em azul.

dan dan
fonte