Como medir a precisão da previsão probabilística?

Suponha que eu faça um monte de previsões probabilísticas como:

70% de probabilidade de que o crescimento das vendas seja de 10 a 15% no primeiro trimestre, 10% de probabilidade de que o crescimento de vendas seja> 15%, 20% de probabilidade de que o crescimento de vendas seja <10%

Dados os dados reais, qual é a melhor maneira de medir ou rastrear minha precisão? Pontuação Brier?

E posso calcular a média da minha pontuação Brier para diferentes tipos de previsão? (por exemplo, encontre a pontuação mais alta para a previsão "há 80% de chance de chuva" e calcule a média com a previsão de crescimento de vendas)

forecasting scoring-rules Emile
fonte

Eu hesitaria em usar a pontuação Brier para resultados ordinais com mais de 3 categorias, como aqui onde as vendas podem ser classificadas como baixa / média / alta. A pontuação Brier trata cada resultado como equidistante dos outros.

robertf

Seus dados são inerentemente ordinais, como @RobertF parece assumir? Nesse caso, isso adiciona complexidade, como ele escreve, e seria bom se você pudesse editar isso em sua postagem. Caso contrário, você pode usar regras de pontuação adequadas , como o Brier ou outros. E sim, você pode calculá-las.

precisa saber é o seguinte

Acredito que meu exemplo usa dados ordinais, mas não entendo o que você quer dizer com "inerentemente ordinal". No entanto, eu poderia mudar minha previsão para ser apenas um crescimento de vendas de 12%. Nesse caso, eu usaria algo como o MAE? Mas a razão pela qual incluí as probabilidades é levar em conta a variabilidade e os eventos raros. Por exemplo, o crescimento esperado de vendas da minha previsão pode ser de 12%, mas pode haver uma pequena probabilidade de crescimento negativo de vendas. Embora seja improvável que isso aconteça, pode ser valioso saber a probabilidade de crescimento negativo das vendas. Então, eu quero refletir isso de alguma forma na minha previsão.

Emile

Por "inerentemente ordinal", eu quis dizer se o seu problema subjacente é ordinal ou se o exemplo que você usou acabou de ser ordinal. Aparentemente, é o primeiro.

precisa saber é o seguinte

Respostas:

Seu comentário soa como se você estivesse realmente procurando uma previsão de densidade, em vez de uma previsão pontual, ou seja, deseja prever a distribuição de probabilidade completa dos resultados futuros. Esta é uma ideia muito boa. A previsão de densidade é comum em previsões financeiras ou econométricas, mas, infelizmente, raramente é tratada em outros livros e cursos de previsão. Tay e Wallis (2000, Journal of Forecasting ) fornecem uma pesquisa inicial útil.

A maneira mais comum de avaliar previsões de densidade usa a Probability Integral Transform (PIT). A referência canônica é Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Journal of Business & Economic Statistics ) e Bao, Lee & Saltoglu (2007, Journal of Forecasting ) fornecem alternativas.

Recentemente, aumentou o interesse em regras (apropriadas) de pontuação , como a pontuação Brier que você mencionou. A literatura inclui Mitchell & Wallis (2011, Jornal de Econometria Aplicada ) e Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Finalmente, Gneiting & Katzfuss (2014, Revisão Anual de Estatística e sua Aplicação ) fornece uma visão geral mais recente da previsão de densidade (ou probabilística), concentrando-se novamente nas regras de pontuação.

Stephan Kolassa
fonte

Você poderia explicar, em termos leigos, o método mais apropriado para fazer uma previsão de densidade e as regras de pontuação mais adequadas para o meu exemplo. Ou você pode apontar para um artigo / livro. Acho que o que estou pedindo é uma receita: etapas para fazer uma previsão probabilística de densidade, depois outras para avaliar a precisão de previsões individuais e / ou múltiplas. E, idealmente, eu posso fazer o cálculo em uma calculadora comum (sem software especializado). Se alguma integral é necessária, que tipo de aproximação posso fazer para simplificar a equação. Procurando algo que eu possa fazer "atrás do envelope".

Emile

Eu adoraria ler esses papéis, mas francamente eles estão acima da minha cabeça.

Emile

Ah Eu recomendo que você procure um livro de previsão padrão, por exemplo, Ord & Fildes, Principles of Business Forecasting , seção 5.2 e outros, onde os intervalos de previsão são calculados usando uma abordagem de distribuição normal. Hyndman e Athanosopoulos infelizmente não cobrem a previsão de densidade. Quanto às regras de pontuação, eu realmente não acho que exista uma "melhor" clara no seu caso - basta escolher uma que você possa implementar facilmente. No entanto, você provavelmente vai em tabelas de distribuição normais menos necessidade, por isso seria bom se você olhou para R ....

Stephan Kolassa

... Hyndman e Athanasopoulos fazem tudo com R, então o livro deles serve como uma boa introdução à previsão usando R. Boa sorte!

precisa saber é o seguinte