Como tirar derivada da densidade normal multivariada?

Digamos que tenho densidade normal multivariada . Eu quero obter o segundo derivado (parcial) wrt . Não sei como obter derivada de uma matriz.$N(\mu, \Sigma)$$\mu$

O Wiki diz que pegue o elemento derivado por elemento dentro da matriz.

Estou trabalhando com a aproximação de Laplace O modo é .Θ =

$$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$$
$\hat\theta=\mu$

Recebi como isso aconteceu?

$${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$$

O que eu fiz:

$$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$$

Então, eu levo wrt derivado para , primeiro, há uma transposição, em segundo lugar, é uma matriz. Então, eu estou preso.$\theta$

Nota: Se meu professor se deparar com isso, estou me referindo à palestra.

No capítulo 2 do Matrix Cookbook, há uma boa revisão do material de cálculo matricial, que fornece muitas identidades úteis que ajudam nos problemas encontrados com probabilidades e estatísticas, incluindo regras para ajudar a diferenciar a probabilidade gaussiana multivariada.

Se você tiver um vetor aleatório que é normal multivariado com vetor médio e matriz de covariância , use a equação (86) no livro de receitas da matriz para descobrir que o gradiente de a probabilidade de log em relação a éμ Σ L ${\boldsymbol y}$${\boldsymbol \mu}$${\boldsymbol \Sigma}$${\bf L}$${\boldsymbol \mu}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$$

Vou deixar para você diferenciar isso novamente e encontrar a resposta para ser .$-{\boldsymbol \Sigma}^{-1}$

Como "crédito extra", use as equações (57) e (61) para descobrir que o gradiente em relação a é${\boldsymbol \Sigma}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$$

Eu deixei de fora muitas etapas, mas fiz essa derivação usando apenas as identidades encontradas no livro de receitas da matriz, então deixarei para você preencher as lacunas.

Eu usei essas equações de pontuação para estimativa de probabilidade máxima, então eu sei que elas estão corretas :)

Você precisa se certificar de que cuida adequadamente dos elementos repetidos em , caso contrário, suas derivadas estarão incorretas. Por exemplo, (141) o Matrix Cookbook fornece uma simétrica Σ as seguintes derivadas$\mathbf{\Sigma}$$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

E (14) da diferenciação de funções das matrizes de covariância fornece

$$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

$\circ$$\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$$

$D$$\mathbf{x}$$\mathbf{y}$$\mathbf{\mu}$$D\log|2\pi|$

$i,j^{th}$$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$$ $${\bf B}=2{\bf A} - \text{diag}({\bf A})$$ ${\boldsymbol \Sigma}$${\bf A}$${\bf B}$ está correto para cada entrada.

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f