Quando a regressão logística é resolvida de forma fechada?

Tome $x \in \{0,1\}^d$ e $y \in \{0,1\}$ e suponha que modelar a tarefa de prever y dado x meio de regressão logística. Quando os coeficientes de regressão logística podem ser escritos de forma fechada?

Um exemplo é quando usamos um modelo saturado.

Isto é, definir $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ , onde $i$ indexa conjuntos no poder-conjunto de $\{x_1,\ldots,x_d\}$ , e $f_i$ retorna 1 se todas as variáveis ​​do $i$ ésimo conjunto forem 1 e 0, caso contrário. Depois, você pode expressar cada $w_i$ neste modelo de regressão logística como um logaritmo de uma função racional de estatísticas dos dados.

Existem outros exemplos interessantes quando existe um formulário fechado?

Como kjetil b halvorsen apontou, é, a seu modo, um milagre que a regressão linear admita uma solução analítica. E isso ocorre apenas em virtude da linearidade do problema (com relação aos parâmetros). Em OLS, tem que tem condições de primeira ordem - 2 Σ i ( y i - x ' i β ) x i = 0 Para um problema com

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$variáveis (incluindo constante, se necessário, há alguns regressão com os problemas de origem, também), este é um sistema com equações e p incógnitas. Mais importante ainda, é um sistema linear, para que você possa encontrar uma solução usando a teoria e prática padrão da álgebra linear . Este sistema terá uma solução com probabilidade 1, a menos que você tenha variáveis ​​perfeitamente colineares.$p$$p$

Agora, com a regressão logística, as coisas não são mais tão fáceis. Escrever a função de probabilidade logarítmica, e tomando sua derivada para encontrar o MLE, obtemos ∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ Os parâmetrosβinserem isso de maneira muito não-linear: para cadai, há uma função não-linear e eles são somados. Não há solução analítica (exceto provavelmente em uma situação trivial com duas observações, ou algo assim), e você deve usarmétodos de otimização não linearpara encontrar as estimativas $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$ .$\hat\beta$

Uma análise um pouco mais profunda do problema (usando a segunda derivada) revela que este é um problema de otimização convexa de encontrar o máximo de uma função côncava (uma parábola multivariada glorificada), de modo que qualquer uma delas exista, e qualquer algoritmo razoável deve encontrá-la rapidamente, ou as coisas explodem até o infinito. Este último ocorre com regressão logística quando para alguns ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$, ou seja, você tem uma previsão perfeita. Esse é um artefato bastante desagradável: você pensaria que, quando tem uma previsão perfeita, o modelo funciona perfeitamente, mas, curiosamente, é o contrário.

Esta postagem foi originalmente planejada como um comentário longo e não como uma resposta completa para a pergunta em questão.

Da questão, é um pouco incerto se o interesse reside apenas no caso binário ou, talvez, em casos mais gerais, onde eles podem ser contínuos ou assumir outros valores discretos.

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$ foi preferido sobre o item$j$ em uma comparação emparelhada.

$(i,j)$$\hat{\alpha}_i$$S_i = \sum_{j \neq i} Y_{ij}$

Para interpretar isso, imagine um torneio round-robin completo no seu esporte competitivo favorito. Então, esse resultado diz que o modelo Bradley – Terry classifica os jogadores / equipes de acordo com a porcentagem de vitórias. Se este é um resultado encorajador ou decepcionante depende do seu ponto de vista, suponho.

Nota: este resultado de classificação não se aplica, em geral, quando um round-robin completo não é jogado.