Relação entre Hessian Matrix e Covariance Matrix

Você deve primeiro verificar esta pergunta básica sobre a matriz de informações de Fisher e o relacionamento com erros Hessianos e padrão

Suponha que tenhamos um modelo estatístico (família de distribuições) . No caso mais geral, temos , assim que esta família é parametrizado por . Sob certas condições de regularidade, temos $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

{Eu}_{Eu, j} (θ) = - E_{θ} [\frac{\partial^{2} eu (X; θ)}{\partial θ_{Eu} \partial θ_{j}}] = - E_{θ} [H_{Eu, j} (eu (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

onde é uma matriz de informação de Fisher (como uma função de ) e é o valor observado (amostra) $I_{i,j}$ $\theta$ $X$

eu (X; θ) = eu n (f_{θ} (X)), para alguns θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Portanto, a matriz de informações de Fisher é um valor esperado negado de Hesian da probabilidade logarítmica sob algum $\theta$

Agora, digamos que queremos estimar alguma função vetorial do parâmetro desconhecido . Normalmente, é desejado que o estimador deve ser neutro, ou seja $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

O limite inferior de Cramer Rao afirma que para cada imparcial o satisfaz $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {Eu}^{- 1 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

onde para matrizes significa que é semi-definido positivo , $A \ge B$ $A - B$ é simplesmente um jacobiano. Observe que, se estimarmos, isto é, acima simplificaremos para $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq {Eu}^{- 1 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Mas o que isso nos diz realmente? Por exemplo, lembre-se de que

v uma r_{θ} (T_{Eu} (X)) = [c o v_{θ} (T (X))]_{Eu, Eu}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{Eu} {UMA}_{Eu, Eu} \geq 0 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{Eu} v uma r_{θ} (T_{Eu} (X)) \geq [B (θ)]_{Eu, Eu}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Portanto, o CRLB não nos diz a variação do nosso estimador, mas se o estimador é ótimo ou não , ou seja, se ele tem uma covariância mais baixa entre todos os estimadores imparciais.

Łukasz Grad
fonte

Agradeço sua explicação aqui. Eu não sou realmente uma pessoa de matemática, mas estou no caminho de aprender a matemática seriamente. No entanto, ainda parece muito abstrato para mim. Espero que exista algum exemplo gentil com números simples, que definitivamente o entenda.

user122358

Relação entre Hessian Matrix e Covariance Matrix

Respostas: