Quais são as deficiências do erro médio percentual absoluto (MAPE)?

29

O erro médio percentual absoluto ( ) é uma medida de precisão ou erro comum para séries temporais ou outras previsões,

MAPE=100nt=1n|AtFt|At%,

onde são reais e previsões ou previsões correspondentes.AtFt

O MAPE é uma porcentagem, para que possamos compará-lo facilmente entre séries, e as pessoas possam entender e interpretar porcentagens facilmente.

No entanto, ouvi dizer que o MAPE tem desvantagens. Gostaria de entender melhor essas desvantagens para que eu possa tomar uma decisão informada sobre usar o MAPE ou alguma alternativa como o MSE ( ), o MAE ( ) ou o MASE ( ).

S. Kolassa - Restabelecer Monica
fonte

Respostas:

45

Deficiências do MAPE

  • O MAPE, como porcentagem, só faz sentido para valores onde divisões e proporções fazem sentido. Não faz sentido calcular porcentagens de temperaturas, por exemplo, portanto, você não deve usar o MAPE para calcular a precisão de uma previsão de temperatura.

  • Se apenas um único real é zero, , você divide por zero no cálculo do MAPE, que é indefinido.At=0

    Acontece que alguns softwares de previsão, no entanto, relatam um MAPE para essas séries, simplesmente eliminando períodos com zero de reais ( Hoover, 2006 ). Escusado será dizer que essa não é uma boa idéia, pois implica que não nos importamos com o que se o real fosse zero - mas uma previsão de e uma de pode ter implicações muito diferentes . Portanto, verifique o que o seu software faz.Ft=100Ft=1000

    Se apenas alguns zeros ocorrerem, você poderá usar um MAPE ponderado ( Kolassa & Schütz, 2007 ), que, no entanto, possui problemas próprios. Isso também se aplica ao MAPE simétrico ( Goodwin & Lawton, 1999 ).

  • MAPEs maiores que 100% podem ocorrer. Se você prefere trabalhar com precisão, que algumas pessoas definem como 100% -MAPE, isso pode levar à precisão negativa, que as pessoas podem ter dificuldade em entender. ( Não, a truncagem da precisão em zero não é uma boa ideia. )

  • Se tivermos dados estritamente positivos que desejamos prever (e acima, o MAPE não faz sentido de outra forma), nunca preveremos abaixo de zero. Infelizmente, o MAPE trata as previsões externas de maneira diferente das previsões anteriores: uma previsão insuficiente nunca contribuirá com mais de 100% (por exemplo, se e ), mas a contribuição de uma previsão insuficiente é ilimitada (por exemplo, se e ) Isso significa que o MAPE pode ser menor para previsões tendenciosas do que para previsões imparciais. Minimizar isso pode levar a previsões com um viés baixo.Ft=0At=1Ft=5At=1

Especialmente o último item merece um pouco mais de reflexão. Para isso, precisamos dar um passo atrás.

Para começar, observe que não conhecemos o resultado futuro perfeitamente, e nunca saberemos. Portanto, o resultado futuro segue uma distribuição de probabilidade. Nossa chamada previsão é nossa tentativa de resumir o que sabemos sobre a distribuição futura (isto é, a distribuição preditiva ) no momento usando um único número. O MAPE é então uma medida de qualidade de toda uma sequência desses resumos de número único de distribuições futuras nos tempos .Ft t t = 1 , , ntt=1,,n

O problema aqui é que as pessoas raramente dizem explicitamente o que é um bom resumo de um número de uma distribuição futura.

Quando você fala com clientes de previsão, eles geralmente querem que esteja correto "em média". Ou seja, eles querem que seja a expectativa ou a média da distribuição futura, em vez de, digamos, sua mediana.FtFt

Aqui está o problema: minimizar o MAPE normalmente não nos incentivará a produzir essa expectativa, mas um resumo de um número bastante diferente ( McKenzie, 2011 , Kolassa, 2020 ). Isso acontece por duas razões diferentes.

  • Distribuições futuras assimétricas. Suponha que nossa verdadeira distribuição futura siga uma distribuição estacionária lognormal. A figura a seguir mostra uma série temporal simulada, bem como a densidade correspondente.(μ=1,σ2=1)

    lognormal

    As linhas horizontais fornecem as previsões de pontos ideais, em que "otimização" é definida como minimização do erro esperado para várias medidas de erro.

    Vemos que a assimetria da distribuição futura, juntamente com o fato de o MAPE penalizar diferencialmente as super e sub-previsões, implica que a minimização do MAPE levará a previsões fortemente tendenciosas. ( Aqui está o cálculo das previsões de pontos ideais no caso gama ) .

  • Distribuição simétrica com alto coeficiente de variação. Suponha que deriva de rolar um dado de seis lados padrão a cada momento . A figura abaixo mostra novamente um caminho de amostra simulado:Att

    rolo de morrer

    Nesse caso:

    • A linha tracejada em minimiza o MSE esperado. É a expectativa da série cronológica.Ft=3.5

    • Qualquer previsão (não mostrada no gráfico) minimizará o MAE esperado. Todos os valores neste intervalo são medianas da série temporal.3Ft4

    • A linha pontilhada em minimiza o MAPE esperado.Ft=2

    Mais uma vez, vemos como a minimização do MAPE pode levar a uma previsão tendenciosa, devido à penalidade diferencial aplicada a super e sub-previsões. Nesse caso, o problema não vem de uma distribuição assimétrica, mas do alto coeficiente de variação de nosso processo de geração de dados.

    Esta é realmente uma ilustração simples que você pode usar para ensinar as pessoas sobre as deficiências do MAPE - apenas entregue alguns dados aos participantes e faça-os rolar. Veja Kolassa & Martin (2011) para mais informações.

Perguntas relacionadas com CrossValidated

Código R

Exemplo de lognormal:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Exemplo de rolagem de dados:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referências

Gneiting, T. Fazendo e avaliando previsões de pontos . Jornal da Associação Estatística Americana , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Sobre a assimetria do MAPE simétrico . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Medindo a precisão das previsões: omissões nos atuais mecanismos de previsão e software de planejamento da demanda . Prospecção: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Por que a "melhor" previsão de pontos depende do erro ou da medida de precisão (comentário convidado na competição de previsão M4). Revista Brasileira de Previsão , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Os erros percentuais podem arruinar o seu dia (e rolar os dados mostra como) . Prospecção: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vantagens da relação MAD / Média sobre o MAPE . Prospecção: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Média de erro percentual absoluto e viés na previsão econômica . Economics Letters , 2011, 113, 259-262

S. Kolassa - Restabelecer Monica
fonte
4
Excelente Q&A. Eu acrescentaria que todas essas métricas têm duas grandes suposições subjacentes - a série é iid e estacionária. Se uma ou ambas as suposições não forem atendidas, o que acontece com frequência na prática, sua validade é questionável.
Mike Hunter
Eu concordo com a maior parte disso, no entanto, não seria legítimo lidar com proporções de temperaturas, desde que estejam em sua escala adequada (isto é, a escala Kelvin)?
Reponha Monica
2
@ Ben: nesse caso, não vamos dividir por zero. No entanto, a assimetria ainda é um pequeno problema. Se a sua previsão for 293K e a real for 288K, você terá um APE de 1,74% e se a previsão for 288K enquanto a real for 293K, o APE será de 1,71%, portanto, a segunda previsão parecerá melhor, embora ambas estejam em 5K . (Traduza para C ou F, conforme necessário.) Essencialmente, os mesmos erros absolutos são penalizados mais fortemente por valores reais mais baixos. Além disso, a interpretação de erros percentuais para temperaturas não é fácil.
S. Kolassa - Restabelece Monica
1
@Ben As porcentagens de temperatura absoluta são legítimas, mas as diferenças de temperatura são mais fáceis de entender - pelo menos quando lidamos com temperaturas no intervalo diário; ao prever a temperatura central em estrela, pode ser o contrário.
Pere