Que tipo de informação é Fisher?

Suponha que tenhamos uma variável aleatória . Se fosse o parâmetro true, a função de verossimilhança deveria ser maximizada e a derivada igual a zero. Esse é o princípio básico por trás do estimador de probabilidade máxima. $X \sim f(x|\theta)$ $\theta_0$

Pelo que entendi, as informações de Fisher são definidas como

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Portanto, se é o parâmetro true, . Mas se não for o parâmetro true, teremos uma quantidade maior de informações de Fisher. $\theta_0$ $I(\theta) = 0$ $\theta_0$

minhas perguntas

As informações de Fisher medem o "erro" de um determinado MLE? Em outras palavras, a existência de informações positivas de Fisher não implica que meu MLE não possa ser ideal?
Como essa definição de "informação" difere da usada por Shannon? Por que chamamos isso de informação?

bayesian maximum-likelihood likelihood intuition fisher-information Stan Shunpike
fonte

Por que você escreve ? A expectativa é acima dos valores de distribuídos como se eles viessem da sua distribuição com o parâmetro .

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

Neil G

Também não é zero no parâmetro true.

I (θ)

$I(\theta)$

Neil G

OE (S) é zero (ie: expectativa da função de pontuação), mas, como Neil G escreveu - a informação do pescador (V (S)) não é (geralmente) zero.

Tal Galili

Respostas:

Tentando complementar as outras respostas ... Que tipo de informação é Fisher? Comece com a função de probabilidade de log como uma função de para , o espaço do parâmetro. Assumindo algumas condições de regularidade que não discutimos aqui, temos (escreveremos derivadas com relação ao parâmetro como pontos aqui). A variação é a informação de Fisher

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$ a última fórmula que mostra que é a curvatura (negativa) da função de probabilidade de log. Geralmente, é encontrado o estimador de probabilidade máxima (mle) de , resolvendo a equação de probabilidade quando as informações de Fisher como a variação da pontuação for grande, a solução para essa equação será muito sensível aos dados, dando esperança à alta precisão da mle. Isso é confirmado pelo menos assintoticamente, sendo a variação assintótica da mle o inverso da informação de Fisher.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

Como podemos interpretar isso? é a informação de probabilidade sobre o parâmetro da amostra. Isso realmente só pode ser interpretado em um sentido relativo, como quando o usamos para comparar as plausibilidades de dois valores possíveis de parâmetros distintos através do teste de razão de verossimilhança . A taxa de alteração da probabilidade de log é a função de pontuação nos diz com que rapidez a probabilidade muda e sua variação quanto isso varia de amostra para amostra, em um determinado parâmetro valor, digamos . A equação (que é realmente surpreendente!) $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$ nos diz que há uma relação (igualdade) entre a variabilidade na informação (probabilidade) para um determinado valor de parâmetro, , e a curvatura da função de probabilidade para esse valor de parâmetro. Essa é uma relação surpreendente entre a variabilidade (variação) dessa estatística e a mudança esperada na semelhança quando variamos o parâmetro em algum intervalo ao redor (para os mesmos dados). Isso é realmente estranho, surpreendente e poderoso!

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$

θ

$\theta$

θ_{0}

$\theta_0$

Então, qual é a função de probabilidade? Geralmente pensamos no modelo estatístico como uma família de distribuições de probabilidade para os dados , indexadas pelo parâmetro algum elemento no espaço de parâmetros . Pensamos nesse modelo como verdadeiro se existir algum valor tal forma que os dados realmente tenham a distribuição de probabilidade . Portanto, obtemos um modelo estatístico incorporando a verdadeira distribuição de probabilidade de geração de dados $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ $f(x;\theta_0)$ em uma família de distribuições de probabilidade. Mas, é claro que essa incorporação pode ser feita de muitas maneiras diferentes, e cada uma dessas incorporação será um modelo "verdadeiro" e fornecerão funções de probabilidade diferentes. E, sem essa incorporação, não há função de probabilidade. Parece que realmente precisamos de ajuda, alguns princípios sobre como escolher sabiamente uma incorporação!

Então o que isso quer dizer? Isso significa que a escolha da função de probabilidade nos diz como esperaríamos que os dados mudassem, se a verdade mudasse um pouco. Mas, isso realmente não pode ser verificado pelos dados, pois eles fornecem apenas informações sobre a verdadeira função do modelo que realmente gerou os dados, e não nada sobre todos os outros elementos no modelo escolhido. Dessa forma, vemos que a escolha da função de verossimilhança é semelhante à escolha de um anterior na análise bayesiana, injeta informações não relacionadas aos dados na análise. Vejamos isso em um exemplo simples (um tanto artificial) e vejamos o efeito de incorporar em um modelo de maneiras diferentes. $f(x;\theta_0)$ $f(x;\theta_0)$

Suponhamos que sejam iid como . Portanto, essa é a verdadeira distribuição geradora de dados. Agora, vamos incorporar isso em um modelo de duas maneiras diferentes, modelo A e modelo B. você pode verificar se isso coincide com . $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

As funções de probabilidade de log se tornam

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

A pontuação funciona: (derivadas de probabilidade de log): e as curvaturas assim, as informações de Fisher realmente dependem da incorporação. Agora, calculamos as informações de Fisher no valor verdadeiro , portanto, as informações de Fisher sobre o parâmetro são um pouco maiores no modelo B.

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

Isso ilustra que, em certo sentido, as informações de Fisher nos dizem com que rapidez as informações dos dados sobre o parâmetro seriam alteradas se o parâmetro governante fosse alterado da maneira postulada pela incorporação em uma família de modelos . A explicação de informações mais altas no modelo B é que nossa família de modelos B postula que, se a expectativa aumentasse, a variação também aumentaria . Para que, no modelo B, a variação da amostra também leve informações sobre , o que não será feito no modelo A. $\mu$

Além disso, este exemplo ilustra que realmente precisamos de alguma teoria para nos ajudar a construir famílias de modelos.

kjetil b halvorsen
fonte

ótima explicação. Por que você diz ? é uma função de - não é 0 apenas quando avaliado no parâmetro verdadeiro ?

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

Ihadanny

Sim, o que você diz é verdade, @idadanny É zero quando avaliado no valor verdadeiro do parâmetro.

precisa saber é o seguinte

Mais uma vez obrigado @kjetil - apenas mais uma pergunta: a relação surpreendente entre a variação da pontuação e a curvatura da probabilidade é verdadeira para cada ? ou apenas na vizinhança do verdadeiro parâmetro ?

θ

$\theta$

θ_{0}

$\theta_0$

Ihadanny

Novamente, esse relacionamento é verdadeiro para o valor verdadeiro do parâmetro. Mas, para que isso seja de muita ajuda, deve haver continuidade, de modo que seja aproximadamente verdadeiro em algum bairro, pois o usaremos no valor estimado , não apenas no valor verdadeiro (desconhecido).

\hat{θ}

$\hat{\theta}$

Kjetil b halvorsen

então, o relacionamento vale para o parâmetro verdadeiro , quase vale para já que assumimos que ele está no bairro de , mas para um geral não é válido, certo?

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

Ihadanny

Vamos pensar em termos da função de probabilidade de log negativa . A pontuação negativa é seu gradiente em relação ao valor do parâmetro. No parâmetro true, a pontuação é zero. Caso contrário, ele indica a direção do mínimo (ou, no caso de não convexo , um ponto de sela ou mínimo ou máximo local). $\ell$ $\ell$ $\ell$

As informações de Fisher medem a curvatura de torno de se os dados seguirem . Em outras palavras, ele indica quanto movimento do parâmetro afetaria sua probabilidade de log. $\ell$ $\theta$ $\theta$

Considere que você tinha um grande modelo com milhões de parâmetros. E você tinha um pequeno pen drive para armazenar seu modelo. Como você deve priorizar quantos bits de cada parâmetro armazenar? A resposta certa é alocar bits de acordo com as informações de Fisher (Rissanen escreveu sobre isso). Se as informações de Fisher de um parâmetro forem zero, esse parâmetro não importa.

Chamamos isso de "informação" porque as informações de Fisher medem o quanto esse parâmetro nos diz sobre os dados.

Uma maneira coloquial de pensar sobre isso é: suponha que os parâmetros estejam dirigindo um carro e os dados estejam no banco traseiro, corrigindo o motorista. O aborrecimento dos dados é a informação de Fisher. Se os dados deixarem o motorista dirigir, as informações de Fisher serão zero; se os dados estão constantemente fazendo correções, são grandes. Nesse sentido, a informação de Fisher é a quantidade de informação que vai dos dados aos parâmetros.

Considere o que acontece se você tornar o volante mais sensível. Isso é equivalente a uma reparametrização. Nesse caso, os dados não querem ser tão altos por medo do excesso de direção do carro. Esse tipo de reparametrização diminui as informações de Fisher.

Neil G
fonte

Complementar à boa resposta da @ NeilG (+1) e para responder às suas perguntas específicas:

Eu diria que conta a "precisão" em vez do próprio "erro".

Lembre-se de que o Hessian da probabilidade logarítmica avaliada nas estimativas de ML é a informação de Fisher observada. Os erros padrão estimados são as raízes quadradas dos elementos diagonais do inverso da matriz de informações de Fisher observada. A partir disso, as informações de Fisher são o traço da matriz de informações de Fisher. Dado que a matriz de informações de Fisher é uma matriz de matriz semidefinida positiva hermitiana, as entradas diagonais são reais e não negativas; como conseqüência direta, o traço deve ser positivo. Isso significa que você pode ter apenas estimadores "não ideais" de acordo com sua afirmação. Portanto, não, uma informação positiva de Fisher não está relacionada ao quão ideal é o seu MLE. $I$ $I_{j,j}$ $tr(I)$

A definição difere na maneira como interpretamos a noção de informação nos dois casos. Dito isto, as duas medidas estão intimamente relacionadas.

O inverso da informação de Fisher é a variação mínima de um estimador imparcial ( ligado a Cramér – Rao ). Nesse sentido, a matriz de informações indica quanta informação sobre os coeficientes estimados está contida nos dados. Pelo contrário, a entropia de Shannon foi extraída da termodinâmica. Relaciona o conteúdo de informações de um valor específico de uma variável como que é a probabilidade de a variável assumir o valor. Ambas são medidas de quão "informativa" é uma variável. No primeiro caso, embora você julgue essas informações em termos de precisão, enquanto no segundo caso em termos de desordem; lados diferentes, mesma moeda! : D $–p·log_2(p)$ $p$

Para recapitular: O inverso da matriz de informações de Fisher avaliada nos valores do estimador de ML é a matriz de covariância assintótica ou aproximada. Como os valores deste estimador de ML são encontrados graficamente em um mínimo local graficamente, as informações de Fisher mostram quão profundo é esse mínimo e quanto espaço de manobra você tem em torno dele. Encontrei este artigo de Lutwak et al. sobre Extensões de informações de Fisher e desigualdade de Stam, uma leitura informativa sobre esse assunto. Os artigos da Wikipedia sobre a Fisher Information Metric e a divergência de Jensen-Shannon também são bons para você começar. $I$

usεr11852 diz Reinstate Monic
fonte