Explicação do que Nate Silver disse sobre loess

Em uma pergunta que fiz recentemente , me disseram que era um grande "não-não" extrapolar com loess. Mas, no artigo mais recente de Nate Silver no FiveThirtyEight.com, ele discutiu o uso do loess para fazer previsões de eleições.

Ele estava discutindo as especificidades de previsões agressivas versus conservadoras com loess, mas estou curioso quanto à validade de fazer previsões futuras com loess?

Também estou interessado nesta discussão e que outras alternativas existem que podem ter benefícios semelhantes ao loess.

time-series forecasting predictive-models loess politics a.powell
fonte

Se sua variável x for tempo, seria perigoso usar loess para prever o futuro (o que estaria fora do intervalo dos dados). Mas isso não significa que você não pode usar loess para fazer previsões de maneira mais geral.

Glen_b

@Glen_b por curiosidade, o que algo que eu poderia "geralmente" prever?

a.powell

Imagine uma relação não linear entre a proporção de pessoas inclinadas a votar no partido A e a taxa de desemprego (juntamente com outros preditores - efeitos para os estados individuais, por exemplo). Imagine ainda que há novos números de desemprego disponíveis; dentro da faixa de valores experimentados no conjunto de treinamento, mas não necessariamente um valor representado nesse conjunto (por exemplo, o desemprego passado está entre 5 e 12% e agora temos um valor de 8,3%, com previsão de estabilidade). Poderíamos usar o loess para prever a proporção de votos A, sem sair do desemprego de 5 a 12%.

Glen_b -Reinstar Monica

@Glen_b Obrigado. Essa é uma ilustração maravilhosa de como ela pode ser usada para previsões.

a.powell

Respostas:

O problema com lowess ou loess é que ele usa uma interpolação polinomial. É bem sabido na previsão que os polinômios têm comportamento irregular nas caudas. Ao interpolar, polinômios de 3º grau proporcionam excelente e flexível modelagem de tendências, extrapolando além do intervalo de dados observados, eles explodem. Se você observasse dados posteriores na série cronológica, definitivamente teria que incluir outro ponto de interrupção nos splines para obter um bom ajuste.

Modelos de previsão, no entanto, são bem explorados em outras partes da literatura. O processo de filtragem, como o filtro Kalman e o filtro de partículas, fornece excelentes previsões. Basicamente, um bom modelo de previsão será baseado em cadeias de Markov, onde o tempo não é tratado como um parâmetro no modelo, mas os estados anteriores do modelo são usados para informar as previsões.

AdamO
fonte