Qual é a diferença entre estimativa e previsão?

46

Por exemplo, tenho dados históricos de perdas e estou calculando quantis extremos (Valor em risco ou Perda máxima provável). Os resultados obtidos são para estimar a perda ou prever? Onde alguém pode traçar a linha? Estou confuso.

estimation predictor prediction-interval Melão
fonte

4

Intimamente relacionada é uma discussão sobre a diferença entre intervalos de confiança e intervalos de previsão em stats.stackexchange.com/questions/16493 .

whuber

65

"Previsão" e "estimativa" são, de fato, às vezes usadas de forma intercambiável na escrita não técnica e parecem funcionar de maneira semelhante, mas há uma nítida distinção entre elas no modelo padrão de um problema estatístico. Um estimador usa dados para adivinhar um parâmetro, enquanto um preditor usa os dados para adivinhar algum valor aleatório que não faz parte do conjunto de dados. Para aqueles que não estão familiarizados com o que "parâmetro" e "valor aleatório" significam nas estatísticas, o seguinte fornece uma explicação detalhada.

Nesse modelo padrão, supõe-se que os dados constituam uma observação (possivelmente multivariada) de uma variável aleatória cuja distribuição é conhecida apenas por estar dentro de um conjunto definido de possíveis distribuições, os "estados da natureza". Um estimador é um procedimento matemático que atribui a cada valor possível alguma propriedade de um estado de natureza , como sua média . Assim, uma estimativa é um palpite sobre o verdadeiro estado da natureza. Podemos dizer quão boa é uma estimativa comparando $\mathbf{x}$ $X$ $t$ $\mathbf{x}$ $t(\mathbf{x})$ $\theta$ $\mu(\theta)$ $t(\mathbf{x})$ para . $\mu(\theta)$

Um preditor diz respeito à observação independente de outra variável aleatória cuja distribuição está relacionada ao verdadeiro estado da natureza. Uma previsão é um palpite sobre outro valor aleatório. Podemos dizer o quão bom uma previsão especial é de apenas comparando com o valor realizado por . Esperamos que, em média, o acordo seja bom (no sentido de calcular a média de todos os resultados possíveis e simultaneamente de todos os valores possíveis de ). $p(\mathbf{x})$ $Z$ $p(\mathbf{x})$ $Z$ $\mathbf{x}$ $Z$

Os mínimos quadrados comuns fornecem o exemplo padrão. Os dados consistem em pares associando valores da variável dependente a valores da variável independente. O estado da natureza é especificado por três parâmetros , e : diz que cada é como um desenho independente de uma distribuição normal com média e desvio padrão . , e $(x_i,y_i)$ $y_i$ $x_i$ $\alpha$ $\beta$ $\sigma$ $y_i$ $\alpha + \beta x_i$ $\sigma$ $\alpha$ $\beta$ são parâmetros (números) que se acredita serem fixos e invariáveis. O interesse se concentra em (a interceptação) e (a inclinação). Os OLS estimar, por escrito , é bom no sentido de que tende a estar perto de e tende a estar perto de ,não importa o que o verdadeiro (mas desconhecido) valores de e pode ser. $\sigma$ $\alpha$ $\beta$ $(\hat{\alpha}, \hat{\beta})$ $\hat{\alpha}$ $\alpha$ $\hat{\beta}$ $\beta$ $\alpha$ $\beta$

A previsão do OLS consiste em observar um novo valor da variável dependente associada a algum valor da variável independente. pode ou não estar entre os no conjunto de dados; isso é imaterial. Uma intuitivamente boa predição é que este novo valor é provável que seja perto de . Melhores previsões dizem quão próximo o novo valor pode estar (elas são chamadas intervalos de previsão ). Eles representam o fato de que $Z = Y(x)$ $x$ $x$ $x_i$ $\hat{\alpha} + \hat{\beta}x$ $\hat{\alpha}$ e são incertas (uma vez que dependem matematicamente sobre os valores aleatórios ), que não se sabe ao certo (e, por conseguinte, tem de ser avaliado), bem como o pressuposto de que tem uma distribuição normal com desvio padrão e média (observe a ausência de qualquer chapéu!). $\hat{\beta}$ $(y_i)$ $\sigma$ $Y(x)$ $\sigma$ $\alpha + \beta x$

$(x_i,y_i)$ $\sigma$ $Y(x)$ $Y(x)$ $\hat{\alpha} + \hat{\beta}x$ $\alpha+\beta x$ $p(\mathbf{x})$ $t(\mathbf{x})$

Aqui, então, no exemplo do OLS, vemos claramente a distinção: uma estimativa adivinha os parâmetros (que são números fixos, mas desconhecidos), enquanto uma previsão adivinha o valor de uma quantidade aleatória. A fonte da confusão potencial é que a previsão geralmente se baseia nos parâmetros estimados e pode até ter a mesma fórmula que um estimador.

Na prática, você pode distinguir estimadores de preditores de duas maneiras:

objetivo : um estimador procura conhecer uma propriedade do verdadeiro estado da natureza, enquanto uma previsão procura adivinhar o resultado de uma variável aleatória; e
incerteza : um preditor geralmente tem uma incerteza maior que um estimador relacionado, devido à incerteza adicionada no resultado dessa variável aleatória. Preditores bem documentados e descritos, portanto, geralmente vêm com faixas de incerteza - intervalos de previsão - que são mais amplas que as faixas de incerteza dos estimadores, conhecidas como intervalos de confiança. Uma característica dos intervalos de previsão é que eles podem (hipoteticamente) encolher à medida que o conjunto de dados cresce, mas eles não encolherão para largura zero - a incerteza no resultado aleatório é "irredutível" - enquanto as larguras dos intervalos de confiança tenderão a encolher para zero, correspondendo à nossa intuição de que a precisão de uma estimativa pode se tornar arbitrariamente boa com quantidades suficientes de dados.

Ao aplicar isso para avaliar a possível perda de investimento, primeiro considere o objetivo: você deseja saber quanto pode realmente perder nesse investimento (ou nessa cesta específica de investimentos) durante um determinado período, ou está realmente adivinhando qual é o perda esperada (talvez em um grande universo de investimentos)? O primeiro é uma previsão, o segundo uma estimativa. Então considere a incerteza. Como sua resposta mudaria se você tivesse recursos quase infinitos para coletar dados e realizar análises? Se isso se tornar muito preciso, você provavelmente está estimando o retorno esperado do investimento, enquanto que, se permanecer altamente incerto sobre a resposta, estará fazendo uma previsão.

Portanto, se você ainda não sabe ao certo com qual animal está lidando, pergunte ao seu estimador / preditor: qual é a probabilidade de ser errado e por quê? Por meio dos dois critérios (1) e (2), você saberá o que possui.

whuber
fonte

Resposta muito interessante! Você pode nos fornecer algumas referências sobre isso?

user1420303

2

F

$F$

y = α + β x + u_{i} + ϵ

$y=\alpha+\beta x + u_i + \epsilon$

u_{i} \sim N (0, σ_{u}^{2})

$u_i \sim \mathcal N(0, \sigma^2_u)$

α, β, σ,

$\alpha, \beta, \sigma,$

σ_{u}

$\sigma_u$

y

$y$

u_{i}

$u_i$

n \to \infty

$n \to \infty$

u_{i}

$u_i$

2

u_{i}

$u_i$

2

@whuber O ponto mais importante que você apontou é que os estimadores sempre buscam aproximar uma quantidade com natureza não estocástica / não aleatória, como parâmetros em um modelo SLR; os preditores sempre visam aproximar uma quantidade com natureza estocástica / aleatória como variável de resposta (incluindo o termo de erro) em um modelo de SLR. Este ponto é destacado nos primeiros trabalhos de Rao.

precisa saber é o seguinte

8

A estimativa é sempre para parâmetro desconhecido, enquanto a previsão é para variável aleatória.

Arif
fonte

5

Você prevê a realização de uma variável aleatória enquanto estima um parâmetro de uma variável aleatória (por exemplo, seu valor esperado).

Richard Hardy

@ CowboyTrader, não sei o suficiente sobre a estimativa de densidade do kernel para comentar sua reivindicação.

Richard Hardy

2

Não há diferença nos modelos. De fato, há uma (leve) diferença na ação realizada. Estimativa é a calibração do seu modelo probabilístico usando dados ("aprendizado" na terminologia da IA). Previsão é o "palpite" de uma observação futura. Supondo que esse "palpite" seja baseado em dados passados - esse pode ser um caso de estimativa; como a previsão da altura da próxima pessoa que você está prestes a conhecer, usando uma estimativa da altura média da população. Observe, porém, que a previsão nem sempre é uma instância de estimativa. O gênero da próxima pessoa que você está prestes a conhecer não é um parâmetro da população no sentido clássico; A previsão do sexo pode exigir alguma estimativa, mas será necessário um pouco mais ...

No caso do valor em risco, a previsão e a estimativa coincidem desde a perda prevista , é a expectativa estimada da perda.

JohnRos
fonte

2

Você começa bem com uma distinção correta entre estimativa e previsão, mas os últimos dois terços da resposta parecem confundir previsão com estimativa mais uma vez. Introduzir o exemplo de gênero fica ainda mais confuso, porque não está relacionado à distinção inicial (na verdade, é sem sentido, porque subjacente é uma mudança de modelo estatístico entre a etapa de estimativa e previsão).

whuber

0

Previsão é o uso da função de regressão de amostra para estimar um valor para a variável dependente condicionado a alguns valores não observados da variável independente.

Estimativa é o processo ou técnica de calcular um parâmetro ou quantidade desconhecida da população.

user82419
fonte

3

1

$1$

2

$2$

0

Normalmente, "estimativa" é reservada para parâmetros e a "predição" é para valores. No entanto, algumas vezes a distinção fica embaçada, por exemplo, você pode ter visto algo como "estimar o valor amanhã" em vez de "prever o valor amanhã".

O valor em risco (VaR) é um caso interessante. O VaR não é um parâmetro, mas não dizemos "prever o VaR". Dizemos "estimar VaR". Por quê?

O motivo pelo qual o VaR não é uma quantidade aleatória SE você conhece a distribuição E precisa conhecer a distribuição para calcular o VaR. Então, se você estiver usando a abordagem paramétrica do VaR, primeiro estimar os parâmetros da distribuição e depois calcular o VaR. Se você estiver usando o VaR não paramétrico, estimará diretamente o VaR de maneira semelhante à estimativa dos parâmetros. Nesse sentido, é semelhante ao quantil.

Por outro lado, o valor da perda é um valor aleatório. Portanto, se você for solicitado a prever perdas, estaria prevendo que não estimariam. Novamente, às vezes dizemos "estimar" a perda. Então, a linha está embaçada, como escrevi anteriormente.

Aksakal
fonte

Você diz que o VaR não é um parâmetro, mas me pergunto se esse é realmente o caso. VaR é o quantil (condicional ou incondicional) da distribuição da variável dependente. Como tal, parece-me um parâmetro da distribuição, ou pelo menos uma função de outros parâmetros mais fundamentais, que não parecem mudar a essência. Não parece uma realização de uma variável aleatória.

Richard Hardy

Além disso, quando você diz que a previsão é para valores, ela se aplica tanto a valores de parâmetros quanto a realizações de variáveis aleatórias (que também são valores). Por isso, sugiro substituir valores pela realização de variáveis aleatórias; então você teria a dicotomia que está buscando.

Richard Hardy

-3

Acho as definições abaixo mais explicativas:

Estimativa é a aproximação calculada de um resultado. Esse resultado pode ser uma previsão, mas não necessariamente. Por exemplo, posso estimar que o número de carros na Ponte Golden Gate às 17h de ontem foi de 900, assumindo que as três faixas que iam para Marin estavam em capacidade, cada carro ocupa um espaço de 30 pés e a ponte tem 9000 pés de comprimento ( 9000/30 x 3 = 900).

Extrapolação é estimar o valor de uma variável fora de um intervalo conhecido de valores assumindo que o valor estimado segue algum padrão dos conhecidos. A forma mais simples e popular de extrapolação é estimar uma tendência linear com base nos dados conhecidos. Alternativas à extrapolação linear incluem extrapolação polinomial e cônica. Como a estimativa, a extrapolação pode ser usada para previsão, mas não se limita à previsão.

Previsão é simplesmente dizer algo sobre o futuro. As previsões geralmente são focadas nos resultados e não no caminho para esses resultados. Por exemplo, eu poderia prever que em 2050 todos os veículos serão movidos a motores elétricos sem explicar como passamos da baixa adoção em 2011 à adoção completa em 2050. Como você pode ver no exemplo anterior, as previsões não são necessariamente baseadas em dados.

Previsão é o processo de fazer uma previsão ou previsão. Os termos previsão e previsão são freqüentemente usados de forma intercambiável, mas às vezes as previsões se distinguem das previsões, pois as previsões geralmente fornecem explicações sobre os caminhos para um resultado. Por exemplo, uma previsão de adoção de veículo elétrico pode incluir o caminho para a adoção completa de veículo elétrico, seguindo um padrão de adoção em forma de S, onde poucos carros são elétricos antes de 2025, um ponto de inflexão ocorre em 2030 com adoção rápida e a maioria dos carros é elétrica após 2040

Estimativa, extrapolação, previsão e previsão não são termos mutuamente exaustivos e coletivamente exaustivos. Boas previsões de longo prazo para problemas complexos muitas vezes precisam usar técnicas diferentes da extrapolação para produzir resultados plausíveis. Previsões e previsões também podem ocorrer sem qualquer tipo de estimativa calculada.

ver definições de links1 definições2

sso
fonte

2

A previsão não precisa necessariamente ser sobre o futuro.

22212 miura

leia-o completo: Previsão é simplesmente dizer algo sobre o futuro. As previsões geralmente são focadas nos resultados e não no caminho para esses resultados.

sso

Sim, mas os resultados não precisam estar no futuro. Você pode, por exemplo, também prever resultados desconhecidos do passado.

Miura

1

Este é um relato razoável de como as palavras "estimativa" e "previsão" são usadas em um sentido não técnico e não estatístico . Como o @miura está sugerindo, é evidente pelas outras respostas aqui que esses sentidos coloquiais diferem dos estatísticos convencionais. Vejo um argumento válido a favor da interpretação da pergunta original de maneira não estatística. No entanto, essa interpretação introduz uma limitação desconfortável e desnecessária ao não permitir que a "previsão" se aplique a eventos passados (concluídos) com resultados desconhecidos.

whuber

Se você aplicá-lo ao filtro Kalman de variação mínima anterior da ega, e um filtro de variação mínima mais suave pode ser usado para recuperar dados de interesse de medições ruidosas. As técnicas acima mencionadas dependem de preditores um passo a frente ... então, ainda previsão um passo à frente (o futuro) :)

sso

Qual é a diferença entre estimativa e previsão?

Respostas: