A probabilidade de log no GLM garantiu convergência para os máximos globais?

Minhas perguntas são:

Os modelos lineares generalizados (GLMs) garantem convergir para um máximo global? Se sim, por quê?
Além disso, que restrições existem na função de link para garantir a convexidade?

Meu entendimento dos GLMs é que eles maximizam uma função de probabilidade altamente não-linear. Assim, eu imaginaria que existem vários máximos locais e o conjunto de parâmetros para os quais você converge depende das condições iniciais do algoritmo de otimização. No entanto, depois de fazer algumas pesquisas, não encontrei uma única fonte que indique que existem vários máximos locais. Além disso, não conheço muito as técnicas de otimização, mas sei que o método Newton-Raphson e o algoritmo IRLS são altamente propensos a máximos locais.

Por favor, explique, se possível, de forma intuitiva e matemática!

EDIT: dksahuji respondeu à minha pergunta original, mas quero adicionar a pergunta de acompanhamento [ 2 ] acima. ("Que restrições existem na função de link para garantir a convexidade?")

generalized-linear-model optimization convergence exponential-family DankMasterDan
fonte

Eu acho que algumas restrições devem ser necessárias antes que isso possa acontecer. Qual é a fonte da declaração?

Glen_b -Reinstala Monica

Vários sites pareciam implicá-lo, no entanto, eu não consegui encontrar nada que o mencionasse imediatamente, então eu também aprecio sua reprovação!

DankMasterDan

contanto que a probabilidade esteja bem definida em todos os lugares do domínio (e ignorando alguns problemas numéricos tangenciais), acho que sim. Nessas condições, o hessian está <0 em todo lugar no domínio, portanto a similaridade é globalmente côncava. Btw, a função não é 'altamente não linear' nos parâmetros e é isso que importa.

user603

@ user603 qual é a sua fonte / prova de que o hessian está <0 em todo lugar?

DankMasterDan

As regressões logística, Poisson e Gaussiana são frequentemente convexas, dada uma função de ligação "boa". No entanto, com a função de link arbitrário, eles não são convexos.

Memming

Respostas:

A definição de família exponencial é:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

onde é a função da partição de log. Agora, pode-se provar que as três coisas a seguir se aplicam ao caso 1D (e elas generalizam para dimensões mais altas - você pode examinar as propriedades de famílias exponenciais ou partição de log): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

O resultado acima prova que é convexo (como é positivo semidefinido). Agora, vamos dar uma olhada na função de probabilidade do MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

$\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Existe uma versão generalizada chamada família exponencial curvada que também seria semelhante. Mas a maioria das provas está na forma canônica.

dksahuji
fonte

Então, isso significa que o GLM possui um mínimo global mínimo de diferença, cuja função de link é escolhida (incluindo as não-canônicas)?

DankMasterDan

Vou tentar responder o mais longe possível.

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$ is the case you are talking about. This still is concave in

η

$\eta$ but may not be in

θ

$\theta$ so

η

$\eta$ should be such that the whole log likelihood is concave in

θ

$\theta$ .

dksahuji

Observe que a pergunta se refere à convergência, e não apenas à existência, mas com algumas restrições, isso também pode ser possível.

Glen_b -Replica Monica

@Glen_b Você pode elaborar? Não conheço nenhuma dessas restrições. Talvez algo como restrições no tamanho da etapa em um otimizador baseado em gradiente para garantir a convergência em caso de função côncava.

dksahuji

@ Glen_b Isso pode ser verdade em geral, mas não consigo ver nenhuma razão para a função côncava não convergir para ótimos dentro de um pequeno valor tolerável. Mas eu diria que não tenho nenhuma experiência prática com isso e acabei de começar. :)

dksahuji