Determinante da matriz de informações de Fisher para um modelo superparameterizado

Considere uma variável aleatória Bernoulli com o parâmetro (probabilidade de sucesso). A função de probabilidade e as informações de Fisher (uma matriz ) são:$X\in\{0,1\}$$\theta$$1 \times 1$

$$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$$

Agora considere uma versão "com excesso de parâmetros" com dois parâmetros: a probabilidade de sucesso $\theta_1$ e a probabilidade de falha $\theta_0$ . (Observe que $\theta_1+\theta_0=1$ , e essa restrição implica que um dos parâmetros é redundante.) Nesse caso, a função de verossimilhança e a matriz de informações de Fisher (FIM) são:

$$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$$

Observe que os determinantes desses dois FIMs são idênticos. Além disso, essa propriedade se estende ao caso mais geral de modelos categóricos (ou seja, mais de dois estados). Também parece se estender aos modelos log-lineares com vários subconjuntos de parâmetros restritos a zero; nesse caso, o parâmetro "redundante" extra corresponde à função de partição de log, e a equivalência dos dois determinantes da MIF pode ser mostrada com base no complemento Schur da MIF maior. (Na verdade, para modelos log-lineares, o FIM menor é apenas o complemento de Schur do FIM maior.)

Alguém pode explicar se essa propriedade se estende a um conjunto maior de modelos paramétricos (por exemplo, a todas as famílias exponenciais), permitindo a opção de derivar os determinantes da MIF com base em um conjunto de parâmetros "estendido"? Ou seja, assuma qualquer modelo estatístico com parâmetros, que se encontram em uma variedade dimensional incorporada em um espaço -dimensional. Agora, se estendermos o conjunto de parâmetros para incluir mais uma dimensão (que é totalmente restrita com base nas outras) e computarmos o FIM com base nesses parâmetros , sempre obteremos o mesmo determinante que o baseado no original parâmetros (independentes)? Além disso, como esses dois FIMs estão relacionados?$n$$n$( n + 1 ) $(n+1)$$(n+1)$$n$

A razão pela qual faço essa pergunta é que o FIM com o parâmetro extra geralmente parece mais simples. Meu primeiro pensamento é que isso não deve funcionar em geral. O FIM envolve o cálculo de derivadas parciais da probabilidade do log em cada parâmetro. Essas derivadas parciais assumem que, enquanto o parâmetro em questão é alterado, todos os outros parâmetros permanecem constantes, o que não é verdade quando envolvemos o parâmetro extra (restrito). Nesse caso, parece-me que as derivadas parciais não são mais válidas porque não podemos assumir que os outros parâmetros sejam constantes; no entanto, ainda tenho que encontrar evidências de que isso é realmente um problema. (Se derivadas parciais são problemáticas em casos com parâmetros dependentes, são derivadas totais$(n+1) \times (n+1)$necessário? Ainda não vi um exemplo de cálculo do FIM com derivadas totais, mas talvez essa seja a solução ...)

O único exemplo que eu pude encontrar on-line que calcula o FIM com base em um conjunto "estendido" de parâmetros é o seguinte: estas notas contêm um exemplo para a distribuição categórica, calculando as derivadas parciais necessárias como de costume (ou seja, como se cada parâmetro fosse independente , mesmo que uma restrição esteja presente entre os parâmetros).

Para normal , a matriz de informações é Para curvado normalPortanto, sua observação de que os determinantes são iguais não é universal, mas essa não é a história toda.I 1 = ( $X\sim N(\mu,\sigma^2)$X∼N(μ,μ2)I2=

$$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$$ $X\sim N(\mu,\mu^2)$ $$\mathcal{I}_2=\frac{3}{\mu^2}.$$

Geralmente, se é a matriz de informações sob a reparametrização então não é difícil ver que a matriz de informação para os parâmetros originais é que é o jacobiano da transformação .$\mathcal{I}_g$

$$g(\theta)=(g_1(\theta),...,g_k(\theta))',$$ $$I(\theta)=G'I_g(g(\theta))G$$ $G$$g=g(\theta)$

Por exemplo Bernoulli e . Portanto, o jacobiano é e, portanto, $(\theta_0,\theta_1)=(p,1-p)$$g(p)=(p,1-p)$$(1,-1)'$

$$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$$

Para exemplo normal curvo,

$$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$$

Eu acho que agora você pode facilmente relacionar os determinantes.

Acompanhamento após o comentário

Se eu entendi corretamente, o FIM é válido desde que você estenda os parâmetros de maneira significativa: a probabilidade de uma nova parametrização deve ser uma densidade válida. Por isso, chamei o exemplo de Bernoulli de infeliz.

Eu acho que o link que você forneceu tem uma falha séria na derivação do FIM para variáveis ​​categóricas, pois temos e . A expectativa do Hessiano negativo fornece , mas não para a covariância dos vetores de pontuação. Se você negligenciar as restrições, a igualdade da matriz de informações não se mantém. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$$E(x_ix_j)=\theta_i\theta_j\neq 0$$\mathrm{diag}\{1/\theta_i\}$

Parece que o resultado vale para um tipo específico de relação entre os parâmetros.

Sem reivindicar generalidade total para os resultados abaixo, eu me apego ao caso "um a dois parâmetros". Denote a equação implícita que expressa o relacionamento que deve ser mantido entre os dois parâmetros. Em seguida, a probabilidade de log "correto estendido", "dois parâmetros" (não o que o OP calcula - chegaremos lá)$g(\theta_0,\theta_1) =0$

$$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$$ é equivalente à probabilidade verdadeira , já que , ( é um multiplicador) e podemos tratar os dois parâmetros como independentes, enquanto nos diferenciamos.$L$$g(\theta_0,\theta_1)=0$$\lambda$

Usando subscritos para denotar derivadas com relação aos parâmetros (uma primeira derivada de subscrito, dois derivativos de segunda derivada), o determinante do Hessian da probabilidade estendida correta de log será

$$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$$

O que o OP está fazendo?

Ele considera a probabilidade incorreta "ignorando" a relação entre os dois parâmetros e sem levar em conta a restrição . Ele então procede à diferenciação e obtém$L^*(\theta_0,\theta_1)$$g(\theta_0,\theta_1)$

$$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$$

É evidente que geralmente não é igual a .$(2)$$(1)$

Mas se , então$g_{00}=g_{11}=g_{00}=0$

$$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$$

Portanto, se a relação entre o parâmetro real e o parâmetro redundante é tal que as segundas derivadas parciais da função implícita que os vincula são zero , a abordagem fundamentalmente errada acaba "correta".

Para o caso Bernoulli, de fato temos

$$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$$

ADENDO
para responder à pergunta @Khashaa e mostrar a mecânica aqui, consideramos a probabilidade especificada com um parâmetro redundante, mas também sob uma restrição de que as ligações do parâmetro redundante com a verdadeira. O que fazemos com as probabilidades de log é maximizá-las - então aqui temos um caso de maximização restrita. Suponha uma amostra do tamanho :$n$

$$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$$

Esse problema tem um Langrangeano (o que informalmente chamei de "probabilidade estendida correta" acima),

$$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$$

As condições de primeira ordem para um máximo são

$$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$$

para o qual obtemos a relação

$$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

usando a restrição sob a qual os acima são válidos, obtemos$\theta_1 = 1-\theta_0$

$$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

$$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$$

como deveríamos.

Além disso, como a restrição é linear em todos os parâmetros, suas segundas derivadas serão zero. Isso se reflete no fato de que, nas primeiras derivadas do lagrangeano, o multiplicador "fica sozinho" e será eliminado quando tomarmos as segundas derivadas do lagrangeano. O que por sua vez nos levará a um Hessiano cujo determinante será igual à segunda derivada (unidimensional) da probabilidade logarítmica original de um parâmetro, depois de impor também a restrição (que é o que o OP faz). Tomar o negativo do valor esperado em ambos os casos não altera essa equivalência matemática e chegamos à relação "Informações unidimensionais de Fisher = determinante das informações bidimensionais de Fisher". Agora$\lambda$dado que a restrição é linear em todos os parâmetros, o OP obtém o mesmo resultado (no nível da segunda derivada) sem introduzir a restrição com um multiplicador na função a ser maximizada, porque no segundo nível da derivada, a presença / efeito do parâmetro a restrição desaparece nesse caso.

Tudo isso tem a ver com cálculo, não com conceitos estatísticos.