Pré-requisitos matemáticos e estatísticos para entender os filtros de partículas?

Atualmente, estou tentando entender os filtros de partículas e seus possíveis usos nas finanças e estou lutando bastante. Quais são os pré-requisitos matemáticos e estatísticos que devo revisar (oriundos de finanças quantitativas) para (i) tornar acessíveis os conceitos básicos dos filtros de partículas e (ii) para depois compreendê-los completamente? Tenho um sólido conhecimento de econometria de séries temporais de nível de pós-graduação, com exceção dos modelos de espaço de estado, que ainda não cobri.

Todas as dicas são muito apreciadas!

Você pode ir muito longe com apenas alguns conceitos básicos. Notação, uma explosão de variáveis ​​etc ... podem fazer as coisas parecerem complicadas, mas a idéia central da filtragem de partículas é notavelmente simples.

Alguma probabilidade básica que você precisaria (e provavelmente já sabe!):

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Termos bayesianos: por exemplo. anterior, probabilidade, posterior (+1 em Yair Daon, concordo!)

As etapas básicas de um filtro de partículas são incrivelmente simples:

Primeiro:

• Comece com algumas crenças sobre algum estado oculto. Por exemplo, você pode começar com a crença de que seu foguete está na plataforma de lançamento. (Em um filtro de partículas, as crenças sobre o estado oculto serão representadas com uma nuvem de pontos, cada ponto denota um possível valor do estado oculto. Cada ponto também está associado à probabilidade de o estado ser o estado verdadeiro.)

$t$$t+1$

1. Etapa de previsão: avance a localização dos pontos com base na lei do movimento. (por exemplo, mover pontos para frente com base na velocidade atual do trajetória, trajetória etc ...). Isso normalmente expandirá a nuvem de pontos à medida que a incerteza aumenta.
2. Etapa de atualização de probabilidade: use dados, entrada do sensor para atualizar as probabilidades associadas aos pontos usando a Regra de Bayes. Isso normalmente reduz a nuvem de pontos à medida que a incerteza é reduzida.
3. Adicione algumas etapas / truques específicos da filtragem de partículas. Por exemplo. :
   • Ocasionalmente, resample seus pontos para que cada ponto tenha igual probabilidade.
   • Misture algum ruído, impeça que sua etapa de probabilidade (2) colapse demais sua nuvem de pontos (na filtragem de partículas, é importante que exista pelo menos um ponto com probabilidade positiva vagamente em sua verdadeira localização!)

Exemplo:

Inicialize seu filtro: - Veja a sua localização, onde você está. Agora feche seus olhos.

Em seguida, itere:

1. Dê um passo à frente com os olhos fechados.
2. Etapa de previsão: dadas as crenças passadas sobre onde você estava , preveja onde você está agora e dê um passo adiante. (Observe como a incerteza se expande porque seu passo adiante com os olhos fechados não é super preciso!)
3. Etapa de atualização: use sensores (por exemplo, sentindo-se ao redor, etc ...) para atualizar suas crenças sobre onde você está.

REPETIR!

O mecanismo de probabilidade necessário para implementar é basicamente apenas a probabilidade básica: regra de Bayes, calculando a distribuição marginal etc.

Idéias altamente relacionadas que podem ajudar a entender o quadro geral:

Em certo sentido, as etapas (1) e (2) são comuns a qualquer problema de filtragem bayesiana . Alguns conceitos altamente relacionados para possivelmente ler sobre:

• Modelo Markov oculto . Um processo é Markov se o passado é independente do futuro, dado o estado atual. Quase todas as séries temporais são modeladas como algum tipo de processo de Markov. Um modelo de Markov oculto é aquele em que o estado não é observado diretamente (por exemplo, você nunca observa diretamente a localização exata do seu foguete e, em vez disso, deduz sua localização através de um filtro bayesiano).
• Filtro de Kalman . Essa é uma alternativa à filtragem de partículas que é comumente usada. É basicamente um filtro bayesiano, onde tudo é considerado gaussiano multivariado.

Você deve aprender sobre modelos de espaço de estado mais fáceis de codificar e filtragem de forma fechada primeiro (por exemplo, filtros kalman, modelos markov ocultos). Matthew Gunn está certo de que você pode chegar surpreendentemente longe com conceitos simples, mas, na minha humilde opinião, você deve fazer disso um objetivo intermediário, porque:

1.) Relativamente falando, existem mais partes móveis nos modelos de espaço de estados. Quando você aprende SSMs ou modelos de markov ocultos, há muita notação. Isso significa que há mais coisas para manter em sua memória de trabalho enquanto você brinca com a verificação de coisas. Pessoalmente, quando eu estava aprendendo sobre os filtros de Kalman e os SSMs gaussianos lineares primeiro, estava basicamente pensando "eh, isso são apenas propriedades de vetores normais multivariados ... Eu só preciso acompanhar qual matriz é qual". Além disso, se você alternar entre livros, eles geralmente mudam de notação.

Depois, pensei sobre isso como "eh, isso é tudo apenas a regra de Bayes em todos os momentos". Depois de pensar dessa maneira, você entende por que as famílias conjugadas são boas, como no caso do filtro Kalman. Quando você codifica um modelo markov oculto, com seu espaço de estado discreto, percebe por que não precisa calcular nenhuma probabilidade e é fácil filtrar / suavizar. (Acho que estou me afastando do jargão hmm convencional aqui.)

2.) Cortar os dentes na codificação de muitos deles fará com que você perceba o quão geral é a definição de um modelo de espaço de estado. Em breve, você escreverá os modelos que deseja usar e ao mesmo tempo verá por que não pode. Primeiro, você verá que simplesmente não pode anotá-lo em uma dessas duas formas com as quais está acostumado. Quando você pensa um pouco mais, anota a regra de Bayes e vê que o problema é sua incapacidade de calcular algum tipo de probabilidade para os dados.

Portanto, você acabará falhando em conseguir calcular essas distribuições posteriores (distribuições de suavização ou filtragem dos estados). Para cuidar disso, existem muitas opções aproximadas de filtragem por aí. A filtragem de partículas é apenas um deles. O principal argumento da filtragem de partículas: você simula essas distribuições porque não pode calculá-las.

Como você simula? A maioria dos algoritmos é apenas uma variante da amostragem de importância. Mas fica mais complicado aqui também. Eu recomendo o artigo tutorial de Doucet e Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Se você entender como a filtragem de formulários fechados funciona, eles introduzem a idéia geral de amostragem de importância, a idéia geral do método monte carlo e mostram como usar essas duas coisas para começar com um bom exemplo de série temporal financeira. IMHO, este é o melhor tutorial sobre filtragem de partículas que me deparei.

Além de adicionar duas novas idéias à mistura (amostragem de importância e o método monte carlo), há mais notações agora. Você está amostrando algumas densidades a partir de agora; alguns que você está avaliando e quando os avalia, você está avaliando em amostras. O resultado, depois que você codifica tudo, são amostras ponderadas, consideradas partículas. Eles mudam após cada nova observação. Seria muito difícil entender tudo isso de uma vez. Eu acho que é um processo.

Peço desculpas se estou parecendo enigmático ou ondulado. Esta é apenas a linha do tempo para minha familiaridade com o assunto. A publicação de Matthew Gunn provavelmente responde mais diretamente à sua pergunta. Eu apenas imaginei que jogaria fora essa resposta.