Compreendendo a regressão logística e a probabilidade

Como a estimativa de parâmetros / treinamento de regressão logística realmente funciona? Vou tentar colocar o que tenho até agora.

A saída é y a saída da função logística em forma de probabilidade, dependendo do valor de x: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Para uma dimensão, as chamadas Odds são definidas da seguinte forma: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Agora adicionando a logfunção para obter W_0 e W_1 na forma linear: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Agora, para a parte do problema Usando a probabilidade (X grande é y) $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ Alguém pode dizer por que estamos considerando a probabilidade de y = 1 duas vezes? desde: $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

e como obter os valores de ω disso?

regression logistic likelihood Motor
fonte

Respostas:

Suponha, em geral, que você decidiu criar um modelo da forma

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

para algum parâmetro . Então você simplesmente anota a probabilidade disso, ou seja, $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

que é o mesmo que

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Agora você decidiu 'assumir' (modelo)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

onde

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

então você apenas calcula a fórmula para a probabilidade e algum tipo de algoritmo de otimização para encontrar o , por exemplo, o método newtons ou qualquer outro método baseado em gradiente. $\text{argmax}_\Theta L(\Theta)$

Observe que, às vezes, as pessoas dizem que, quando estão fazendo regressão logística, não maximizam a probabilidade (como fizemos anteriormente), mas minimizam a função de perda

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

mas observe que . $-\log(L(\Theta)) = l(\Theta)$

Esse é um padrão geral no aprendizado de máquina: o lado prático (minimizar as funções de perda que medem o quão 'errado' é um modelo heurístico) é de fato igual ao 'lado teórico' (modelar explicitamente com o símbolo , maximizando quantidades estatísticas como probabilidades) e, de fato, muitos modelos que não parecem probabilísticos (SVMs, por exemplo) podem ser re-entendidos em um contexto probabilístico e, de fato, são maximizações de probabilidades. $P$

Fabian Werner
fonte

@ Werner obrigado pela sua resposta. Mas eu ainda preciso de um pouco de clarification.1st você pode explicar o que na terra a 2

estadia para na definição de

desde o mais longe que eu entendi Estou interessted no caso de

. e como obter os valores de

muito obrigado pela sua ajuda!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

Motor

@ Engine: O grande 'pi' é um produto ... como um grande Sigma

é uma soma ... você entende ou precisa de mais esclarecimentos sobre isso também? Na segunda pergunta: digamos que queremos minimizar uma função

e começamos com

mas vamos assumir que não sabemos / não podemos expressar / não podemos visualizar

, pois é complicado . Agora, a derivada de

. Curiosamente, se estivermos certos do mínimo

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$ it points to the right and if we are left of it it points left. Mathematically the derivative points into the direction of the 'strongest ascend'

Fabian Werner

@Engine: In more dimensions you replace the derivative by the gradient, i.e. you start off at a random point

x_{0}

$x_0$ and compute the gradient

\partial f

$\partial f$ at

x

$x$ and if you want to maximize then your next point

x_{1}

$x_1$ is

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$ . Then you compute

\partial f (x_{1})

$\partial f(x_1)$ and you next

x

$x$ is

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$ and so forth. This is called gradient ascend/descent and is the most common technique in maximizing a function. Now you do that with

L (Θ)

$L(\Theta)$ or in your notation

L (ω)

$L(\omega)$ in order to find the

ω

$\omega$ that maxeimizes

L

$L$

Fabian Werner

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$ as well as the

y = 0

$y=0$ 'good'!

Fabian Werner

Your likelihood function (4) consists of two parts: the product of the probability of success for only those people in your sample who experienced a success, and the product of the probability of failure for only those people in your sample who experienced a failure. Given that each individual experiences either a success or a failure, but not both, the probability will appear for each individual only once. That is what the $, y_i=1$ and $,y_i=0$ mean at the bottom of the product signs.

The coefficients are included in the likelihood function by substituting (1) into (4). That way the likelihood function becomes a function of $\omega$ . The point of maximum likelihood is to find the $\omega$ that will maximize the likelihood.

Maarten Buis
fonte

thanks so much for your answer, sorry but still don't get it. isn't

y_{i} = 0

$y_i = 0$ means the probability that y =0[Don't occure] for all y's of the product. and vis versa for y_i=1. And still after the subtitutiing of how can I find

ω

$\omega$ values, caclulating the 2nd derivative ? or gradient ? thanks a lot for your help !

Engine

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$ should be read as "product for persons

i = 1

$i=1$ till

N

$N$ , but only if

y = 1

$y=1$ . So the first part only applies to those persons in your data that experienced the event. Similarly, the second part only refers to persons who did not experienced the event.

Maarten Buis

There are many possible algorithms for maximizing the likelihood function. The most common one, the Newton-Raphson method, indeed involves computing the first and second derivatives.

Maarten Buis