Pergunta sobre como usar o EM para estimar parâmetros deste modelo

Estou tentando entender o EM e tentando inferir parâmetros desse modelo usando essa técnica, mas estou tendo problemas para entender como começar:

Então, eu tenho um modelo de regressão linear ponderada da seguinte forma, onde tenho observações e as observações correspondentes . O modelo da relação entre e é um modelo de regressão linear ponderada e as premissas de distribuição são as seguintes:$X = (x_i, x_2....x_n)$$Y = (y_1, y_2....y_n)$$X$$Y$

$$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$$ $$\beta \sim \mathcal{N}(0, \Sigma_\beta)$$ $$w_i \sim \mathcal{G}(a, b)$$

Aqui são os parâmetros de regressão e o modelo permite variações desiguais, fazendo com que as variáveis ​​de resposta tenham pesos individuais na variação. Meu objetivo é encontrar a relação linear mais provável fornecida pelos parâmetros .$\beta$$\beta$

Então, agora posso escrever o log-posterior da seguinte maneira:

$$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$$

Agora, eu tenho tentado entender EM e não tenho certeza de que meu entendimento ainda esteja completo, mas como eu o entendo, para começar a estimar os parâmetros, começo assumindo a expectativa da distribuição log-posterior em relação aos parâmetros latentes / ocultos que, no meu caso, são e . Portanto, esse valor esperado exigido será:$\log P(Y, \beta, w|X)$$\beta$$w$

$$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$$

No entanto, não tenho idéia de como proceder a partir daqui para calcular essa expectativa. Gostaria muito de receber sugestões sobre qual deve ser o próximo passo. Não estou procurando alguém para me obter todas as coisas necessárias, mas apenas um empurrão na direção certa sobre o que devo procurar resolver nas próximas etapas.

Deixe-me relembrar o básico do algoritmo EM primeiro. Ao procurar a estimativa de probabilidade máxima de uma probabilidade do formulário

$$\int f(x,z|\beta)\text{d}z,$$ o algoritmo prossegue maximizando iterativamente (M) as esperadas (E) probabilidades completas de log, o que resulta na maximização (em $\beta$) na iteração $t$ a função $$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$$ O algoritmo deve, portanto, começar identificando a variável latente $z$ e sua distribuição condicional.

No seu caso, parece que a variável latente é $\varpi$ feito do $w_i$enquanto o parâmetro de interesse é $\beta$. Se você processar ambos$\beta$ e $\varpi$como variáveis ​​latentes, não há nenhum parâmetro a ser otimizado. No entanto, isso também significa que o anterior$\beta$ não é usado.

Se olharmos mais precisamente para o caso de $w_i$, sua distribuição condicional é dada por

$$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$$ qualificada como $$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$$ distribuição.

A probabilidade de log concluída é

$$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$$ a parte que depende $\beta$ simplifica como $$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$$ e a função $-Q(\beta|\beta_t)$ é proporcional a $$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$$ Maximizar esta função em $\beta$ equivale a uma regressão linear ponderada, com pesos $$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$$