Passos para descobrir uma distribuição posterior quando pode ser simples o suficiente para ter uma forma analítica?

Isso também foi solicitado na Ciência da Computação.

Estou tentando calcular uma estimativa bayesiana de alguns coeficientes para uma regressão automática, com 11 amostras de dados:

$$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$$ onde$\epsilon_{i}$ é normal de média 0 e variância$\sigma_{e}^{2}$ A distribuição antes de o vector$(\mu, \alpha)^{t}$ é normal de média$(0,0)$ e uma matriz covariância diagonal com entradas diagonais igual para$\sigma_{p}^{2}$ .

Com base na fórmula auto-regressão, isto significa que a distribuição dos pontos de dados (o $Y_{i}$ ) são normal com média $\mu + \alpha\cdot{}Y_{i-1}$ e variância$\sigma_{e}^{2}$ . Assim, a densidade para todos os pontos de dados$(Y)$ conjunto (assumindo independência, o que é bom para o programa que estou escrevendo) seria:

$$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$$

Pelo teorema de Bayes, podemos pegar o produto da densidade acima com a densidade anterior e depois precisaremos apenas da constante de normalização. Meu palpite é que isso deve funcionar como uma distribuição gaussiana, para que possamos nos preocupar com a constante de normalização no final, em vez de calculá-la explicitamente com integrais acima de $\mu$ e $\alpha$ .

Esta é a parte com a qual estou tendo problemas. Como computo a multiplicação da densidade anterior (que é multivariada) e este produto de densidades de dados univariadas? O posterior precisa ser puramente uma densidade de $\mu$ e $\alpha$ , mas não consigo ver como você conseguirá isso com esse produto.

Qualquer indicação é realmente útil, mesmo que você me aponte na direção certa e eu precise fazer a álgebra confusa (que é o que eu já tentei várias vezes).

Como ponto de partida, eis a forma do numerador da regra de Bayes:

$$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$$

A questão é como ver que isso reduz a uma densidade gaussiana de .$(\mu, \alpha)^{t}$

Adicionado

Em última análise, isso se resume ao seguinte problema geral. Se lhe for dada alguma expressão quadrática tal como como fazê-lo colocar em que uma forma quadrática ( μ - μ , α - α ) Q ( μ - μ , α - α ) t para alguns matriz 2x2

$$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$$Q$? É o suficiente simples em casos fáceis, mas que processo que você usa para obter a estimativa e α ?$\hat{\mu}$$\hat{\alpha}$

Observe que tentei a opção direta de expandir a fórmula da matriz e depois tentar igualar os coeficientes como acima. O problema, no meu caso, é que a constante é zero e, em seguida, acabo obtendo três equações em duas incógnitas; portanto, é indeterminado apenas corresponder aos coeficientes (mesmo que assuma uma matriz de forma quadrática simétrica).$L$

The clue that was in my answer to the previous answer is to look at how I integrated out the parameters - because you will do exactly the same integrals here. You question assumes the variance parameters known, so they are constants. You only need to look at the $\alpha,\mu$ dependence on the numerator. To see this, note that we can write:

$$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$$ $$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Notice how we can pull the first factor $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ out of the double integral on the denominator, and it cancels with the numerator. We can also pull out the sum of squares $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$ and it will also cancel. The integral we are left with is now (after expanding the squared term):

$$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Now we can use a general result from the normal pdf.

$$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$$ This follows from completing the square on $-az^2+bz$ and noting that $c$ does not depend on $z$. Note that the inner integral over $\mu$ is of this form with $a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$ and $b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$ and $c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$. After doing this integral, you will find that the remaining integral over $\alpha$ is also of this form, so you can use this formula again, with a different $a,b,c$. Then you should be able to write your posterior in the form $\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$ where $V$ is a $2\times 2$ matrix

Let me know if you need more clues.

update

(note: correct formula, should be $10\mu^2$ instead of $\mu^2$)

if we look at the quadratic form you've written in the update, we notice there is $5$ coefficients ($L$ is irrelevant for posterior as we can always add any constant which will cancel in the denominator). We also have $5$ unknowns $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$. Hence this is a "well posed" problem so long as the equations are linearly independent. If we expand the quadratic $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$ we get:

$$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$$ $$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$$ $$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$$

Comparing second order coefficient we get $A=Q_{11},B=2Q_{12},C=Q_{22}$ which tells us what the (inverse) covariance matrix looks like. Also we have two slightly more complicated equations for $\hat{\alpha},\hat{\mu}$ after substituting for $Q$. These can be written in matrix form as:

$$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$$

Thus the estimates are given by:

$$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$$

Showing that we do not have unique estimates unless $4AC\neq B^2$. Now we have:

$$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$$

Note that if we define $X_i=Y_{i-1}$ for $i=2,\dots,11$ and take the limit $\sigma^2_p\to\infty$ then the estimates for $\mu,\alpha$ are given by the usual least squares estimate $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ and $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ where $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ and $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$. So the posterior estimates are a weighted average between the OLS estimates and the prior estimate $(0,0)$.