Como detectar uma alteração significativa nos dados de séries temporais devido a uma alteração na "política"?

Espero que este seja o lugar certo para postar isso, considerei publicá-lo nos céticos, mas acho que eles diriam que o estudo estava estatisticamente errado. Estou curioso sobre o outro lado da questão, que é como fazê-lo corretamente.

No site Quantified Self , o autor publicou os resultados de um experimento de algumas métricas de produção medidas sobre si mesmo ao longo do tempo e comparadas antes e depois de parar abruptamente de tomar café. Os resultados foram avaliados subjetivamente e o autor acreditava ter evidências de que havia uma mudança na série temporal e que estava relacionado à mudança na política (beber café)

O que isso me lembra são os modelos da economia. Nós temos apenas uma economia (com a qual nos preocupamos no momento), portanto, os economistas estão frequentemente fazendo essencialmente n = 1 experimentos. Os dados são quase certamente autocorrelacionados ao longo do tempo por causa disso. Os economistas geralmente estão assistindo, diz o Fed, ao iniciar uma política e tentando decidir se a série temporal mudou, potencialmente por conta da política.

Qual é o teste apropriado para determinar se a série temporal aumentou ou diminuiu com base nos dados? De quantos dados eu precisaria? Quais ferramentas existem? Minha pesquisa inicial sugere os modelos de séries temporais de troca de Markov, mas não minhas habilidades de pesquisa falham em ajudar a fazer qualquer coisa com apenas o nome da técnica.

O artigo Box-Tiao referido por Jason foi baseado em uma mudança de lei conhecida. A questão aqui é como detectar o ponto no tempo. A resposta é usar o procedimento de Tsay para detectar intervenções, sejam pulsos, turnos de nível, pulsos sazonais e / ou tendências da hora local.

Examinando algumas notas antigas sobre quebras estruturais, tenho estas duas citações:

Enders, "Série Econômica Aplicada", 2ª edição, cap. 5)

Enders discute intervenções, funções de pulso, funções de mudança gradual, funções de transferência etc. Este artigo também pode ser útil:

Box, GEP e GC Tiao. 1975. "Intervention Analysis with Applications to Economic and Environmental Problems". Jornal da American Statistical Association 70: 70-79.

Você não poderia simplesmente usar um modelo de ponto de mudança e tentar identificar o ponto de mudança usando um algoritmo MCMC como o Gibbs Sampling?

Isso deve ser relativamente simples de implementar, desde que você tenha algumas distribuições anteriores para seus dados ou a distorção condicional completa (para Gibbs).

Você pode encontrar uma visão geral rápida aqui

Se você estava considerando todos os pontos no tempo como candidatos a pontos de mudança (também conhecidos como pontos de interrupção, também conhecidos como mudança estrutural), a mudança pacote é uma ótima opção.

Parece que em seu cenário específico, há apenas um ponto no tempo candidato. Nesse caso, várias opções rápidas vêm à mente:

1. Teste T: teste t nas horas de concentração por dia nos períodos "antes de sair" vs. "depois de sair". Se você está preocupado com a correlação diária, você pode desistir de algumas observações para ter intervalos longos o suficiente para acreditar que os dias não estão mais correlacionados. Com essa abordagem, você estará trocando energia com simplicidade.
2. AR: Ajuste um modelo de AR com um manequim: "depois de sair". Se o preditor for significativo, você terá uma alteração. Usando um AR, capturará a (possível) dependência entre dias.

Alguns anos atrás, ouvi uma palestra de uma estudante de graduação, Stacey Hancock , durante uma reunião local do capítulo da ASA e foi sobre "estimativa de quebra estrutural" de séries temporais. A conversa foi realmente interessante e eu conversei com ela depois, e ela estava trabalhando com Richard Davis (de Brockwell-Davis ), então na Colorado State University, agora em Columbia. A palestra foi uma extensão de Davis et al. trabalho em um artigo da JASA de 2006 chamado Estimação de ruptura estrutural para modelos de séries temporais não estacionárias , disponível gratuitamente aqui .

Davis tem uma implementação de software do método que ele chama de Auto-PARM, que ele transformou em um executável do Windows. Se você entrar em contato com ele, poderá obter uma cópia. Eu tenho uma cópia e aqui está o exemplo de saída em uma série temporal de 1.200 observações:

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

Portanto, a série é AR (1) no início; na observação 351, o processo AR (1) muda para outro processo AR (1) (você pode obter os parâmetros) e, na observação 612, o processo muda para AR (3) .

Uma configuração interessante em que experimentei o Auto-PARM foi analisar os dados semanais de retirada de caixas eletrônicos que faziam parte da competição NN5 . Lembro-me do algoritmo que encontrou quebras estruturais no final de novembro de um determinado ano, por exemplo, o início da temporada de compras de fim de ano nos EUA.

Então, como usar esse algoritmo através de implementações existentes? Bem, novamente, você pode entrar em contato com Davis e ver se consegue executar o Windows. Quando eu estava na Rogue Wave Software, trabalhei com Davis para obter o Auto-PARM nas bibliotecas numéricas IMSL. O primeiro idioma para o qual foi portado foi o Fortran , onde é chamado Auto_PARM, e suspeito que o Rogue Wave lançará uma porta C em breve, com as portas Python, C # e Java a seguir.

Josh disse:

josh: do OP "Qual é o teste apropriado para determinar se a série temporal aumentou ou diminuiu com base nos dados?". Acredito que isso pede uma determinação se a média dos resíduos mudou os parâmetros de algum modelo ARIMA. Na minha opinião, você está recomendando o procedimento errado de software / solução, mas essa é apenas a minha opinião. O que você precisa saber é o seguinte:

Suponha que se comece com um modelo AR (1):

Onde ${E_t}$ é, digamos, um ruído gaussiano (média zero e variância $\sigma^2$ A média desta série.

A média da série é $\frac{\gamma}{1-phi}$

Então, se por algum tempo os parâmetros $\gamma$ e $\phi$não muda, o mesmo acontece com a média geral da série. No entanto, qualquer uma dessas mudanças, necessariamente a média da série mudará. Portanto, sob estacionariedade por partes, estamos procurando alterações nesses parâmetros!

Se modelos estruturais forem assumidos, o Auto-PARM é o procedimento a ser usado.