Por que a matriz de informações de Fisher é semidefinida positiva?

18

Seja θRn . A Matriz de Informações de Fisher é definida como:

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Como posso provar que a Matriz de informações de Fisher é semidefinida positiva?

madprob
fonte
7
Não é o valor esperado de um produto externo da pontuação consigo?
Neil G

Respostas:

19

Confira: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

A partir da definição, temos

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))],
parai,j=1,,k , em quei=/θi . Sua expressão paraIij segue desta em condições de regularidade.

u=(u1,,uk)Rn

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

If this component wise notation is too ugly, note that the Fisher Information matrix H=(Iij) can be written as H=Eθ[SS], in which the scores vector S is defined as

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Hence, we have the one-liner

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.

Zen
fonte
3
(+1) Good answer and welcome back, Zen. I was becoming concerned we might have lost you permanently given the length of your hiatus. That would have been a real shame!
cardinal
5

WARNING: not a general answer!

If f(X|θ) corresponds to a full-rank exponential family, then the negative Hessian of the log-likelihood is the covariance matrix of the sufficient statistic. Covariance matrices are always positive semi-definite. Since the Fisher information is a convex combination of positive semi-definite matrices, so it must also be positive semi-definite.

gusl
fonte