Em um GLM, a probabilidade logarítmica do modelo saturado é sempre zero?

Como parte da saída de um modelo linear generalizado, os desvios nulo e residual são usados ​​para avaliar o modelo. Muitas vezes, vejo as fórmulas para essas quantidades expressas em termos da probabilidade logarítmica do modelo saturado, por exemplo: /stats//a/113022/22199 , Regressão logística: como obter um modelo saturado

O modelo saturado, até onde eu entendo, é o modelo que se encaixa perfeitamente na resposta observada. Assim, na maioria dos lugares que vi, a probabilidade logarítmica do modelo saturado é sempre dada como zero.

No entanto, a maneira como a fórmula do desvio é apresentada sugere que, às vezes, essa quantidade é diferente de zero. (Como se fosse zero sempre, por que se preocupar em incluí-lo?)

Em que casos pode ser diferente de zero? Se nunca é diferente de zero, por que incluí-lo na fórmula do desvio?

Se você realmente quis dizer probabilidade de log , a resposta é: nem sempre é zero.

Por exemplo, considere os dados de Poisson: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ . A probabilidade logarítmica para $Y = (y_1, \ldots, y_n)$ é dada por:

$$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$$

Diferenciar $\ell(\mu; Y)$ em $(*)$ em relação a $\mu_i$ e configurá-lo para $0$ (isto é como obtemos a MLE para o modelo saturado):

$$-1 + \frac{y_i}{\mu_i} = 0.$$ Resolver este para$\mu_i$para obter μ i=yi, substituindo μ ide volta em(*)paraμidá que o log-probabilidade do modelo saturado é: ℓ( μ ;Y)=n ∑ i=1yi(logyi-1)-n ∑ i=$\hat{\mu}_i = y_i$$\hat{\mu}_i$$(*)$$\mu_i$ $$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$$ , a menos que$y_i$assumir valores muito especiais.

Na página de ajuda da Rfunção glm, no item deviance, o documento explica esse problema da seguinte maneira:

deviance até uma constante, menos o dobro da probabilidade maximizada de log. Onde sensata, a constante é escolhida para que um modelo saturado tenha desvio zero.

Observe que ele mencionou que o desvio , em vez da probabilidade logarítmica do modelo saturado, é escolhido como zero.

Provavelmente, o que você realmente queria confirmar é que "o desvio do modelo saturado é sempre dado como zero", o que é verdadeiro, desde o desvio, por definição (consulte a Seção 4.5.1 da Análise de dados categóricos (2a edição) por Alan Agresti) é a estatística da razão de verossimilhança de um GLM especificado para o modelo saturado. O constantmencionado na documentação R é na verdade o dobro da probabilidade logarítmica maximizada do modelo saturado.

Com relação à sua afirmação "No entanto, a maneira como a fórmula do desvio é apresentada sugere que às vezes essa quantidade é diferente de zero.", Provavelmente se deve ao abuso do uso do termo desvio . Por exemplo, em R, a estatística da razão de verossimilhança da comparação de dois modelos arbitrários (aninhados) e M 2 também é chamada de desvio, que seria mais precisamente denominado como a diferença entre o desvio de M 1 e o desvio de M 2 , se seguimos de perto a definição apresentada no livro de Agresti.$M_1$$M_2$$M_1$$M_2$

Conclusão

1. A probabilidade logarítmica do modelo saturado é geralmente diferente de zero.

2. O desvio (em sua definição original) do modelo saturado é zero.

3. A saída de desvio de softwares (como R) geralmente não é zero, pois na verdade significa outra coisa (a diferença entre desvios).

---

A seguir, são apresentadas a derivação para o caso geral da família exponencial e outro exemplo concreto. Suponha que os dados venham da família exponencial (consulte Estatística Moderna Aplicada com S , Capítulo ): f ( y i ; θ i , φ ) = exp [ A i ( y i θ i - γ ( θ i ) ) / φ + τ ( y i , φ / A i ) ] $7$

$$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$$ onde são pesos anteriores conhecidos e φ são parâmetros de dispersão / escala (para muitos casos, como binomial e Poisson, esse parâmetro é conhecido, enquanto para outros casos, como normal e Gamma, esse parâmetro é desconhecido). A probabilidade logarítmica é dada por: ℓ ( θ , φ ; Y ) = n ∑ i = 1 A i ( y i θ i - γ ( θ i ) ) / φ + n ∑ i = 1$A_i$$\varphi$ Como no exemplo de Poisson, os parâmetros do modelo saturado podem ser estimados resolvendo a seguintefunção depontuação: 0 = U ( θ i ) = ∂ ℓ ( θ , φ ; Y $$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$$ $$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$$

$\hat{\theta}_i$

$$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$$

$(**)$$\Gamma(\alpha, \beta)$

---

$$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$$ $f$$(1)$ $$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$$ $f$ $$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$$ $$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$$ $\hat{\theta}_i = -\frac{1}{y_i}$ $$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$$ $y_i$

A resposta de Zhanxiong já é ótima (+1), mas aqui está uma rápida demonstração de que a probabilidade logarítmica do modelo saturado é $0$para uma regressão logística. Imaginei que iria postar porque não tinha visto o TeX neste site e porque acabei de escrevê-los para uma palestra.

A probabilidade é

$$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$$ Onde $\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$.

A probabilidade de log é

$$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$$

Se você tomar os derivativos em relação a todos os coeficientes que obtém

$$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$$

Definir esta expressão igual a $\mathbf{0}$ e resolvendo para $\boldsymbol{\beta}$lhe dará sua resposta. Geralmente, isso não pode ser feito analiticamente, o que explica a popularidade / necessidade do uso de algoritmos iterativos para ajustar-se a esse modelo, mas no caso de um modelo saturado, isso é possível.

Para encontrar o modelo saturado, damos a cada linha seu próprio coeficiente. então$\boldsymbol{\beta} \in \mathbb{R}^n$ e a matriz de projeto vezes o vetor de coeficiente é

$$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$$

Observe que, em particular, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$.

Então, pegando o $j$a linha da equação (2) nos fornece

$$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$$

o que só pode ser verdade se, para cada observação $i$:

$$y_i = \text{invlogit}(\beta_i )$$ ou em outras palavras, cada $\beta_i$ é mais ou menos infinito (se $y_i$ é $1$ ou $0$, respectivamente). Podemos conectar esses parâmetros novamente em (1) para obter a probabilidade maximizada: $$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$$ Claramente, o log disso é $0$.

@ Alex: sim, está certo. pelo menos para distribuições discretas. para distribuições contínuas, tudo se resumiria a deixar a densidade igual a 1, o que não é necessariamente significativo e, portanto, não é uma coisa sensata a se tentar alcançar. de maneira um pouco mais geral, a probabilidade logarítmica do modelo saturado fornece um limite superior para o desempenho de qualquer modelo que siga sua suposição da família de distribuição subjacente. Em outras palavras, a probabilidade logarítmica de um modelo binomial saturado é "o melhor possível" para o conjunto de dados fornecido (X, Y), assumindo que Y é binomial. Faz sentido comparar seu modelo glm com esse limite superior em oposição a, digamos, 100% (ou similar), já que seu modelo é inerentemente restringido por sua suposição sobre a distribuição de respostas.