O que é identificabilidade do modelo?

Eu sei que com um modelo que não é identificável, pode-se dizer que os dados são gerados por várias atribuições diferentes aos parâmetros do modelo. Eu sei que às vezes é possível restringir parâmetros para que todos sejam identificáveis, como no exemplo em Cassella & Berger 2nd ed, seção 11.2.

Dado um modelo específico, como posso avaliar se é identificável ou não?

Para identificação , estamos falando de um parâmetro (que pode ser um vetor), que varia em um espaço de parâmetros , e de uma família de distribuições (para simplificar, pense em PDFs) indexadas por que normalmente escrevemos algo como . Por exemplo, poderia ser e poderia serΘ θ { f θ$\theta$$\Theta$$\theta$θ θ = β $\{ f_{\theta}|\, \theta \in \Theta\}$$\theta$$\theta = \beta$$f$

Θ=(0,∞)θfθfθ 1 =fθ 2

$$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$$ que significa que . Para que o modelo seja identificável, a transformação que mapeia para deve ser individual . Dado um modelo em seu colo, a maneira mais direta de verificar isso é começar com a equação (essa igualdade deve conter (quase) todo em o suporte ) e tentar usar a álgebra (ou algum outro argumento) para mostrar que essa equação implica que, de fato, .$\Theta = (0,\infty)$$\theta$$f_{\theta}$$f_{\theta_{1}} = f_{\theta_{2}}$$x$$\theta_{1} = \theta_{2}$

Se você tiver sucesso com esse plano, seu modelo é identificável; continue com o seu negócio. Caso contrário, seu modelo não é identificável ou você precisa encontrar outro argumento. A intuição é a mesma, independentemente: em um modelo identificável, é impossível para dois parâmetros distintos (que poderiam ser vetores) dar origem à mesma função de probabilidade.

Isso faz sentido, porque, se, para dados fixos, dois parâmetros únicos deram origem à mesma probabilidade, seria impossível distinguir entre os dois parâmetros candidatos com base apenas nos dados. Seria impossível identificar o parâmetro true, nesse caso.

Para o exemplo acima, a equação é para (quase) todos os . Se pegarmos logs de ambos os lados, obteremos para , que implica a função linear é (quase) idêntico a zero. A única linha que faz isso é a que tem inclinação 0 e interceptação em y zero. Espero que você possa ver o resto.$f_{\theta_{1}} = f_{\theta_{2}}$x>0-

$$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$$ $x > 0$ x>0-( $$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$$ $x > 0$ $$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$$

A propósito, se você pode ver, olhando para o seu modelo, que ele não é identificável (às vezes é possível), é comum introduzir restrições adicionais para torná-lo identificável (como você mencionou). Isso é semelhante ao reconhecimento de que a função não é um para um para em , mas é um para um se restringirmos a mentir interior . Em modelos mais complicados, as equações são mais difíceis, mas a ideia é a mesma. y [ - 1 , 1 ] y [ 0 , 1 $f(y) = y^{2}$$y$$[-1,1]$$y$$[0,1]$

Uma maneira é inspecionar a matriz de covariância, , das suas estimativas de parâmetros. Se duas estimativas de parâmetros estiverem perfeitamente (aproximadamente) correlacionadas entre si ou se uma estimativa de parâmetros for uma combinação (aproximadamente) linear de várias outras, seu modelo não será identificado; os parâmetros que são funções dos outros não são necessários. Em cada um desses casos, também será (aproximadamente) singular. Portanto, se for aproximadamente singular, isso pode lhe dar um motivo para se preocupar com problemas de identificação. (Embora eu ache que isso não detectaria relacionamentos não lineares entre as estimativas de parâmetros que dariam origem à não identificabilidade).Σ $\Sigma$$\Sigma$$\Sigma$

O problema prático é que geralmente é difícil calcular para modelos até levemente complicados.$\Sigma$

Se você está enfrentando um problema de máxima verossimilhança, sabe que a matriz de covariância assintótica de suas estimativas é igual ao inverso das informações de fisher avaliadas no MLE. Portanto, verificar a matriz de informações dos pescadores quanto à singularidade (aproximada) também é uma maneira razoável de avaliar a identificabilidade. Isso também funciona onde a informação teórica do pescador é difícil de calcular, porque muitas vezes é possível aproximar numericamente com precisão um estimador consistente da matriz de informações do pescador, por exemplo, estimando o produto externo esperado da função de pontuação pelo produto externo médio observado .

Se você não estiver enfrentando um problema de ML, poderá obter um controle sobre simulando dados do modelo e estimando parâmetros muitas vezes e calculando uma matriz de covariância de amostra.$\Sigma$