Processo AR (1) com erros de medição heterocedásticos

13

1. O problema

Eu tenho algumas medidas de uma variável , onde , para a qual eu tenho uma distribuição obtida via MCMC, que por simplicidade assumirei ser um gaussiano de média e variância \ sigma_t ^ 2 .ytt=1,2,..,nfyt(yt)μtσt2

Eu tenho um modelo físico para essas observações, digamos g(t) , mas os resíduos rt=μtg(t) parecem estar correlacionados; em particular, tenho razões físicas para pensar que um processo de AR(1) será suficiente para levar em consideração a correlação e planejo obter os coeficientes do ajuste via MCMC, para os quais preciso da probabilidade . Acho que a solução é bastante simples, mas não tenho muita certeza (parece tão simples que acho que estou perdendo alguma coisa).

2. Derivando a probabilidade

Um processo com média zero pode ser escrito como: em que assumirei . Os parâmetros a serem estimados são, portanto, (no meu caso, também tenho que adicionar os parâmetros do modelo , mas esse não é o problema). O que observo, no entanto, é a variável em que estou assumindo e são conhecidos (o erros de medição). Como é um processo gaussiano, também é. Em particular, eu sei que X t = ϕ X t - 1 + ε t , ( 1 ) ε tN ( 0 , σ 2 w ) θ = { ϕ , σ 2 w } g ( t ) R t = X t + η t , ( 2 ) η tN (AR(1)

Xt=ϕXt1+εt,   (1)
εtN(0,σw2)θ={ϕ,σw2}g(t)
Rt=Xt+ηt,   (2)
σ 2 t X t R t X 1N ( 0 , σ 2 w / [ 1 - ϕ 2 ] ) , R 1N ( 0 , σ 2 w / [ 1 - ϕ 2 ] + σ 2 t ) . R t | R t -ηtN(0,σt2)σt2XtRt
X1N(0,σw2/[1ϕ2]),
portanto, O próximo desafio é obter para . Para derivar a distribuição dessa variável aleatória, observe que, usando a eq. Eu posso escrever Usando a eq. e usando a definição da eq. , eu posso escrever, Usando a eq. nessa última expressão, obtenho portanto,
R1N(0 0,σW2/[1-ϕ2]+σt2).
t1(2) X t - 1 = R t - 1 - η t - 1 . (3)(2)(1) R t = X t + η t =φ X t - 1 + ε t + η t . (3) R t =ϕ( RRt|Rt1t1(2)
Xt1=Rt1ηt1.   (3)
(2)(1)
Rt=Xt+ηt=ϕXt1+εt+ηt.
(3)
Rt=ϕ(Rt1ηt1)+εt+ηt,
Rt|Rt1=ϕ(rt1ηt1)+εt+ηt,
e, portanto, Finalmente, eu posso escrever a função de probabilidade como onde são as distribuições das variáveis ​​que acabei de definir, .ie, definindo e definindo ,
Rt|Rt1N(ϕrt1,σw2+σt2ϕ2σt12).
L(θ)=fR1(R1=r1)t=2nfRt|Rt1(Rt=rt|Rt1=rt1),
f()σ2=σw2/[1ϕ2]+σt2,
fR1(R1=r1)=12πσ2exp(-r122σ2),
σ2(t)=σW2+σt2-ϕ2σt-12
fRt|Rt-1(Rt=rt|Rt-1=rt-1)=12πσ2(t)exp(-(rt-ϕrt-1)22σ2(t))

3. Questões

  1. Minha derivação está correta? Não tenho outros recursos para comparar além de simulações (que parecem concordar) e não sou estatístico!
  2. Existe alguma derivação desse tipo de coisa na literatura para os processos ou ? MUMA(1)UMARMUMA(1,1)Um estudo para os processos em geral que poderiam ser particularizados neste caso seria bom.UMARMUMA(p,q)
Néstor
fonte
Eu exatamente não tenho uma solução para você. Mas acho que esse é um tipo de problema de variáveis ​​de erro. Eu vi esse material na Teoria Macroeconômica de Thomas Sergent (livro dos anos 80). Você pode querer olhar para isso.
Metrics
Obrigado pela contribuição, @Metrics. Vou dar uma olhada no livro!
Néstor

Respostas:

1
  1. Você está no caminho certo, mas cometeu um erro ao derivar a distribuição de dado : a média condicional não é . É , onde é sua melhor estimativa de do período anterior. O valor de inclui informações de observações anteriores, bem como . (Para ver isso, considere uma situação em que e são desprezíveis, portanto você está efetivamente estimando uma média fixa. Depois de muitas observações, sua incerteza sobre será muito menor do queRtRt-1ϕrt-1ϕx^t-1x^t-1Xx^t-1rt-1σWϕXση .) Isto pode ser confuso no início, porque você observar e não . Isso significa apenas que você está lidando com um modelo de espaço de estado .RX

  2. Sim, existe uma estrutura muito geral para o uso de modelos gaussianos lineares com observações ruidosas, chamada filtro de Kalman . Isso se aplica a qualquer coisa com uma estrutura ARIMA e muitos outros modelos também. Variação no tempo é válida para o filtro Kalman, desde que não seja estocástico. Modelos com, por exemplo, volatilidade estocástica precisam de métodos mais gerais. Para ver como o filtro Kalman é derivado, tente Durbin-Koopman ou o capítulo 3 de Harvey . Na notação de Harvey, seu modelo possui , , , , e .σηZ=1d=c=0 0Ht=ση,t2T=ϕR=1Q=σw2

Jamie Hall
fonte
Oi Jamie, obrigado pela sua contribuição. Alguns comentários: 1. Não tenho certeza disso. Foi, na verdade, minha primeira tentativa como solução, mas minha intuição e simulações não concordam com isso. O fato é que eu realmente não observo , observo ; além disso, você pode provar (aritmeticamente) que a média condicional da variável aleatória (observe que não é ) é realmente ? 2. Você pode elaborar a aplicação do filtro Kalman para esse problema específico? XtRtRt|Rt1=rt1Rt|Xt1=xt1ϕx^t1
Néstor
Olá Nestor, editei a resposta para responder aos seus comentários. Espero que ajude.
Jamie Salão
Oi Jamie: sobre o segundo ponto, tudo bem, obrigado :-)! No entanto, ainda não consigo ver seu primeiro ponto. Você pode me indicar uma derivação formal? Em particular, gostaria de saber que parte do meu raciocínio está errada (e por que)!
Néstor
Você pulou uma etapa: a distribuição de fornecida . É , onde é a variação que você calculou na primeira etapa e é duas vezes a média harmônica de e . (É como a atualização bayesiana com dois pdfs gaussianos.) Sua equação (3) está formalmente correta, mas você está descartando informações usando isso em vez de . X1R1N(σx,12(σx,12+ση,12)r1,σx,22)σx,12σx,22σx,12ση,12p(Xt1|R1:t1)
Jamie Salão
-1

Honestamente, você deve codificar isso em BUGs ou STAN e não se preocupar com isso a partir daí. A menos que seja uma questão teórica.

DavidShor
fonte
2
(-1) A esta resposta; Esta é claramente uma questão teórica ;-). Considere melhorar por que você acha que eu deveria codificá-lo em BUGs ou STAN e o que isso tem a ver com a pergunta original?
Néstor