Quais são as deficiências do erro médio percentual absoluto (MAPE)?

O erro médio percentual absoluto ( mape ) é uma medida de precisão ou erro comum para séries temporais ou outras previsões,

onde são reais e previsões ou previsões correspondentes.$A_t$$F_t$

O MAPE é uma porcentagem, para que possamos compará-lo facilmente entre séries, e as pessoas possam entender e interpretar porcentagens facilmente.

No entanto, ouvi dizer que o MAPE tem desvantagens. Gostaria de entender melhor essas desvantagens para que eu possa tomar uma decisão informada sobre usar o MAPE ou alguma alternativa como o MSE ( mse ), o MAE ( mae ) ou o MASE ( mase ).

Deficiências do MAPE

• O MAPE, como porcentagem, só faz sentido para valores onde divisões e proporções fazem sentido. Não faz sentido calcular porcentagens de temperaturas, por exemplo, portanto, você não deve usar o MAPE para calcular a precisão de uma previsão de temperatura.

• Se apenas um único real é zero, , você divide por zero no cálculo do MAPE, que é indefinido.$A_t=0$

  Acontece que alguns softwares de previsão, no entanto, relatam um MAPE para essas séries, simplesmente eliminando períodos com zero de reais ( Hoover, 2006 ). Escusado será dizer que essa não é uma boa idéia, pois implica que não nos importamos com o que se o real fosse zero - mas uma previsão de e uma de pode ter implicações muito diferentes . Portanto, verifique o que o seu software faz.$F_t=100$$F_t=1000$

  Se apenas alguns zeros ocorrerem, você poderá usar um MAPE ponderado ( Kolassa & Schütz, 2007 ), que, no entanto, possui problemas próprios. Isso também se aplica ao MAPE simétrico ( Goodwin & Lawton, 1999 ).

• MAPEs maiores que 100% podem ocorrer. Se você prefere trabalhar com precisão, que algumas pessoas definem como 100% -MAPE, isso pode levar à precisão negativa, que as pessoas podem ter dificuldade em entender. ( Não, a truncagem da precisão em zero não é uma boa ideia. )

• Se tivermos dados estritamente positivos que desejamos prever (e acima, o MAPE não faz sentido de outra forma), nunca preveremos abaixo de zero. Infelizmente, o MAPE trata as previsões externas de maneira diferente das previsões anteriores: uma previsão insuficiente nunca contribuirá com mais de 100% (por exemplo, se e ), mas a contribuição de uma previsão insuficiente é ilimitada (por exemplo, se e ) Isso significa que o MAPE pode ser menor para previsões tendenciosas do que para previsões imparciais. Minimizar isso pode levar a previsões com um viés baixo.$F_t=0$$A_t=1$$F_t=5$$A_t=1$

Especialmente o último item merece um pouco mais de reflexão. Para isso, precisamos dar um passo atrás.

Para começar, observe que não conhecemos o resultado futuro perfeitamente, e nunca saberemos. Portanto, o resultado futuro segue uma distribuição de probabilidade. Nossa chamada previsão é nossa tentativa de resumir o que sabemos sobre a distribuição futura (isto é, a distribuição preditiva ) no momento usando um único número. O MAPE é então uma medida de qualidade de toda uma sequência desses resumos de número único de distribuições futuras nos tempos .$F_t$ t t = 1 , … , n$t$$t=1, \dots, n$

O problema aqui é que as pessoas raramente dizem explicitamente o que é um bom resumo de um número de uma distribuição futura.

Quando você fala com clientes de previsão, eles geralmente querem que esteja correto "em média". Ou seja, eles querem que seja a expectativa ou a média da distribuição futura, em vez de, digamos, sua mediana.$F_t$$F_t$

Aqui está o problema: minimizar o MAPE normalmente não nos incentivará a produzir essa expectativa, mas um resumo de um número bastante diferente ( McKenzie, 2011 , Kolassa, 2020 ). Isso acontece por duas razões diferentes.

• Distribuições futuras assimétricas. Suponha que nossa verdadeira distribuição futura siga uma distribuição estacionária lognormal. A figura a seguir mostra uma série temporal simulada, bem como a densidade correspondente.$(\mu=1,\sigma^2=1)$

  

  As linhas horizontais fornecem as previsões de pontos ideais, em que "otimização" é definida como minimização do erro esperado para várias medidas de erro.

  • A linha tracejada em minimiza o MSE esperado. É a expectativa da série cronológica.$F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • A linha pontilhada em minimiza o MAE esperado. É a mediana da série temporal.$F_t=\exp\mu\approx 2.7$
  • A linha tracejada em minimiza o MAPE esperado. É o (-1) -mediano da série temporal ( Gneiting, 2011 , p. 752 com ), que no caso específico de uma distribuição lognormal coincide com o modo da distribuição .$F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  Vemos que a assimetria da distribuição futura, juntamente com o fato de o MAPE penalizar diferencialmente as super e sub-previsões, implica que a minimização do MAPE levará a previsões fortemente tendenciosas. ( Aqui está o cálculo das previsões de pontos ideais no caso gama ) .

• Distribuição simétrica com alto coeficiente de variação. Suponha que deriva de rolar um dado de seis lados padrão a cada momento . A figura abaixo mostra novamente um caminho de amostra simulado:$A_t$$t$

  

  Nesse caso:

  • A linha tracejada em minimiza o MSE esperado. É a expectativa da série cronológica.$F_t=3.5$

  • Qualquer previsão (não mostrada no gráfico) minimizará o MAE esperado. Todos os valores neste intervalo são medianas da série temporal.$3\leq F_t\leq 4$

  • A linha pontilhada em minimiza o MAPE esperado.$F_t=2$

  Mais uma vez, vemos como a minimização do MAPE pode levar a uma previsão tendenciosa, devido à penalidade diferencial aplicada a super e sub-previsões. Nesse caso, o problema não vem de uma distribuição assimétrica, mas do alto coeficiente de variação de nosso processo de geração de dados.

  Esta é realmente uma ilustração simples que você pode usar para ensinar as pessoas sobre as deficiências do MAPE - apenas entregue alguns dados aos participantes e faça-os rolar. Veja Kolassa & Martin (2011) para mais informações.

Perguntas relacionadas com CrossValidated

• A diferença entre MSE e MAPE
• Melhor maneira de otimizar o MAPE
• Minimizando o erro médio percentual absoluto simétrico (SMAPE)
• MAPE vs R-quadrado em modelos de regressão
• Por que usar uma certa medida de erro de previsão (por exemplo, MAD) em oposição a outra (por exemplo, MSE)?

Código R

Exemplo de lognormal:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Exemplo de rolagem de dados:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referências

Gneiting, T. Fazendo e avaliando previsões de pontos . Jornal da Associação Estatística Americana , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Sobre a assimetria do MAPE simétrico . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Medindo a precisão das previsões: omissões nos atuais mecanismos de previsão e software de planejamento da demanda . Prospecção: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Por que a "melhor" previsão de pontos depende do erro ou da medida de precisão (comentário convidado na competição de previsão M4). Revista Brasileira de Previsão , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Os erros percentuais podem arruinar o seu dia (e rolar os dados mostra como) . Prospecção: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vantagens da relação MAD / Média sobre o MAPE . Prospecção: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Média de erro percentual absoluto e viés na previsão econômica . Economics Letters , 2011, 113, 259-262