Detecção de ponto de mudança on-line bayesiana (distribuição preditiva marginal)

Estou lendo o documento on-line de detecção de ponto de mudança bayesiano de Adams e MacKay ( link ).

Os autores começam escrevendo a distribuição preditiva marginal: em que

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$

• $x_t$ é a observação no tempo ;$t$
• $\textbf{x}_{1:t}$ indica o conjunto de observações até o tempo ;$t$
• $r_t \in \mathbb{N}$ é o comprimento de execução atual (o tempo desde o último ponto de mudança, pode ser 0); e
• $\textbf{x}_t^{(r)}$ é o conjunto de observações associadas à execução .$r_t$

Eq. 1 está formalmente correto (veja a resposta abaixo de @JuhoKokkala), mas meu entendimento é que, se você quiser realmente fazer uma previsão sobre precisará expandi-la da seguinte forma:$x_{t+1}$

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

Meu raciocínio é que pode muito bem haver um ponto de mudança no tempo (futuro) , mas o posterior cobre apenas até .$t+1$$P(r_t | \textbf{x}_{1:t})$$t$

O ponto é que os autores do artigo nos fazem da Eq. 1 como está (veja as Eqs. 3 e 11 no documento), e não 1b. Portanto, eles aparentemente ignoram a possibilidade de um ponto de mudança no tempo ao prever partir dos dados disponíveis no tempo . No início da Seção 2, eles dizem en passant$t+1$$x_{t+1}$$t$

Assumimos que podemos calcular a distribuição preditiva [para ] condicional em um determinado comprimento de execução .$x_{t+1}$$r_t$

que talvez seja onde está o truque. Mas, em geral, essa distribuição preditiva deve se parecer com a Eq. 1b; o que não é o que eles fazem (Eq. 11).

Portanto, não sei se entendi o que está acontecendo. Talvez haja algo engraçado acontecendo com a notação.

---

Referência

• Adams, RP e MacKay, DJ (2007). Detecção de ponto de mudança on-line bayesiano. pré-impressão do arXiv arXiv: 0710.3742.

Ambos (1) e (1b) estão corretos. O OP tem razão em que (neste modelo) pode haver um ponto de mudança em , e depende se existe um ponto de mudança. Isso não implica problemas com (1), pois os possíveis valores de são totalmente "cobertos" por . significa a distribuição condicional de condicional em . Essa distribuição condicional calcula a média de "tudo o resto", incluindo , condicional em . Assim como alguém poderia escrever, digamos,$t+1$$x_{t+1}$$r_{t+1}$$P(x_{t+1} \mid r_t, x_{1:t})$$P(x_{t+1} | r_t, x_{1:t})$$x_{t+1}$$(r_t, x_{1:t})$$r_{t+1}$$(r_t, x_{1:t})$$P(x_{t+1000} | x_t)$, que levaria em consideração todas as configurações possíveis dos pontos de mudança, bem como os valores de s ocorrendo entre e .$x_i$$t$$t+1000$

No restante, derivo primeiro (1) e depois (1b) com base em (1).

Derivação de (1)

Para quaisquer variáveis ​​aleatórias , temos desde que seja discreto (caso contrário, a soma precisa ser substituída por uma integral). Aplicando isso a :$A,B,C$

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ $C$$x_{t+1},x_{1:t},r_t$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ que mantém, independentemente de quais sejam as dependências entre , , , ou seja, ainda não há suposições de modelo sido usado. No modelo atual, dado é assumido * como sendo condicionalmente independente dos valores de das execuções anteriores a . Isso implica . Substituindo isso na equação anterior, obtemos$r_t$$x_{1:t}$$x_{t+1}$$x_{t+1}$$r_t,x^{(r)}_t$$x$$x^{(r)}_t$$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ que é (1) no OP.

Derivação de (1b)

Vamos considerar a decomposição de sobre os valores possíveis de : $P(x_{t+1} \mid r_t, x^{(r)}_t)$$r_{t+1}$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

Como se assume * que se um ponto de mudança ocorre em (entre e ) não depende do histórico de , temos . Além disso, como determina se pertence à mesma execução que , temos . Substituindo essas duas simplificações pela fatoração acima, obtemos $t+1$$x_t$$x_{t+1}$$x$$P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$$r_{t+1}$$x_{t+1}$$x_t$$P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ Substituindo isso em (1), obtemos que é OP (1b). $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$

* Observação sobre as premissas de independência condicional do modelo

Com base na rápida navegação do artigo, eu pessoalmente gostaria que as propriedades de independência condicional fossem mais explicitamente declaradas em algum lugar, mas suponho que a intenção é que seja Markoviano e os : s associados a diferentes execuções sejam independentes (dadas as execuções).$r$$x$