Probabilidade em regressão linear

Estou tentando entender como as pessoas derivam a probabilidade de regressão linear simples. Digamos que temos apenas um recurso x e o resultado y. Eu não duvido que a expressão com a própria densidade normal e eu também não tenho dúvida de que se pode levar o produto para fatores mais simples devido à independência. Duvido que as pessoas derivem essa expressão. Parece haver um zoológico inteiro de suposições (parcialmente incorretas) sobre a entrada e, em quase todos os lugares, fica excluída a etapa crítica (namyle como derivar o produto de densidades normais) em que é necessário usar as suposições corretas :-(

O que eu acho natural assumir é o seguinte: Recebemos um conjunto de treinamento fixo e assumimos que $(x_i, y_i)_{i=1,2,...,n}$

os pares no conjunto fixo de treinamento de comprimento vêm de variáveis aleatórias que são distribuídas iid $(x_i, y_i)$ $n$ $(X_i, Y_i)$
$Y_i = \beta_0 X_i + \epsilon_i$
o são variáveis aleatórias unidimensionais do iid, cada uma distribuída como com conhecido (para simplificar) (talvez deva-se assumir algo sobre a densidade condicional aqui? As pessoas parecem não saber o que realmente assumir aqui ...) $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $f_{\epsilon_i|X_i}$

Deixe e deixe . Agora, o objetivo é determinar a densidade condicional . Claramente, $Y = (Y_1, ..., Y_n)$ $X = (X_1, ..., X_n)$ $f_{Y|X} = \frac{f_{(Y,X)}}{f_X}$

f_{Y | X} = \prod_{i = 1}^{n} f_{Y_{i} | X_{i}}

$f_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i}$

Questão:

Como proceder a partir daqui?

Não vejo como as suposições fornecem informações sobre ou sobre então simplesmente não consigo calcular essa quantidade . Além disso, algumas pessoas podem pensar que e normalmente distribuídos (ou normalmente distribuídos) significa que também é normalmente distribuído, mas ... $f_{(Y_i, X_i)}$ $f_{X_i}$ $f_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}$ $Y_i = \beta_0 X_i + \epsilon_i$ $\epsilon_i$ $\epsilon_i|X_i$ $Y_i|X$

Há uma instrução para variáveis aleatórias distribuídas normalmente, mas é assim: Se é normalmente distribuído e são matrizes fixas, então é normalmente distribuído novamente. No caso acima, é que não é uma matriz constante. $X$ $A, B$ $AX+B$ $B$ $\beta_0 X_i$

Outras fontes parecem assumir que é normalmente distribuído imediatamente. Isso parece ser uma suposição estranha ... como poderíamos testar isso em um conjunto de dados real? $f_{Y_i|X_i}$

Saudações + obrigado,

regression probability linear-model likelihood linear Fabian Werner
fonte

Há problemas na sua configuração. Por exemplo, a declaração "variáveis aleatórias que são iid distribuídas" geralmente está incorreta. No mínimo, o geralmente tem meios diferentes, portanto, eles não são considerados apenas por esses motivos.

(X_{i}, Y_{i})

$(X_i, Y_i)$

X_{i}

$X_i$

Aksakal

Embora você afirme que não assumiu nada sobre a distribuição conjunta, claramente fez uma suposição extremamente forte sobre isso em (2) e (3).

whuber

@ whuber: a questão não é se uma regressão linear é um bom modelo ou não ... mesmo ao computar um SVM, você faz implicitamente suposições muito fortes sobre as distribuições ... pois você não está seguindo o caminho bayesiano para esconder isso no fórmulas embora. A questão é: dado que Regressão Linear é um bom modelo, como eu realmente preparar a fórmula para calcular os parâmetros :-)

Fabian Werner

@Aksakal: Eu não entendo o que você está falando, me desculpe ... Esta parece ser uma discussão bastante filosófica: os têm a mesma média, são idênticos em quase todas as configurações de aprendizado de máquina. O que você quer dizer com "eles não têm a mesma média"?

X_{i}

$X_i$

Fabian Werner

@Aksakal: Por exemplo: em um conjunto de pessoas escolhidas aleatoriamente, a idade de um indivíduo fixo depende da idade dos outros? Quase como a chance de que você selecionar membros de uma mesma família é pequena ...

Fabian Werner

Respostas:

A principal suposição para derivar é que o ruído é independente da entrada, ou seja, é independente de . Você não precisa saber ou assumir nada sobre a distribuição do . $f_{Y_i|X_i}$ $\epsilon_i$ $X_i$ $X_i$

Você começa com:

f_{Y_{i} | X_{i}} (x, y) = p (Y_{i} = y | X_{i} = x) = p (β_{0} x + ϵ_{i} = y | X_{i} = x) = p (ϵ_{i} = y - β_{0} x | X_{i} = x)

$f_{Y_i|X_i}(x,y)=p(Y_i=y|X_i=x)=p(\beta_0x+\epsilon_i=y|X_i=x)=p(\epsilon_i=y-\beta_0x|X_i=x)$

Agora, a suposição de independência é usada, uma vez que é independente de , sua densidade dada um valor de é simplesmente sua densidade: $\epsilon_i$ $X_i$ $X_i$

p (ϵ_{i} = y - β_{0} x | X_{i} = x) = p (ϵ_{i} = y - β_{0} x) = . . . e^{(y - β_{0} x)^{2} / 2 σ^{2}}

$p(\epsilon_i=y-\beta_0x|X_i=x)=p(\epsilon_i=y-\beta_0x)=...e^{(y-\beta_0x)^2/2\sigma^2}$

Como alternativa, você poderia dizer que a distribuição do ruído condicionalmente a $X_i$ é normal com uma variação constante (e média 0), dado qualquer valor de . Isso é o que realmente importa. Mas isso é estritamente equivalente à suposição usual: $X_i$

$\epsilon_i$ é independente de $X_i$
$\epsilon_i$ é normalmente distribuído (com média 0)

Benoit Sanchez
fonte

Muito boa resposta, obrigado !!! No entanto, ainda estou lutando com o seguinte: como você conclui que , ou seja, por que você acredita que condicionar uma variável aleatória no cenário de densidades (valores não condicionais esperados e outras coisas) é apenas substituir pelo valor concreto?

p (ϵ = y - β_{0} X | X = x) = p (ϵ = y - β_{0} x | X = x)

$p(\epsilon = y - \beta_0 X | X=x) = p(\epsilon = y - \beta_0 x | X=x)$

Fabian Werner

É mais fácil ver com variáveis discretas, pois você lida diretamente com probabilidades condicionais simples de eventos. . Finalmente, basta observar que, como eventos (conjuntos), . É apenas lógica. A mesma idéia vale para as densidades.

P (Y = f (X) | X = x) = P (Y = f (X) and X = x) / P (X = x)

$P(Y=f(X)|X=x)=P(Y=f(X)\text{ and }X=x)/P(X=x)$

(Y = f (X) and X = x) = (Y = f (x) and X = x)

$(Y=f(X)\text { and }X=x)=(Y=f(x)\text { and }X=x)$

Benoit Sanchez

Finalmente, sim, funciona como substituição.

Benoit Sanchez

Graças à resposta de Benoit Sanchez , finalmente entendi (mas fiquei preso no caminho errado de uma regra de substituição para densidades condicionais). A resposta é a seguinte:

É preciso assumir que

Os pares são provenientes de variáveis aleatórias modo que as variáveis são independentes $(x_i, y_i)$ $(X_i, Y_i)$ $Z_i = (X_i, Y_i)$
$Y_i = \beta_0 X_i + \epsilon_i$
O é iid. distribuído $\epsilon_i$ $N(0,\sigma)$
$\epsilon_i$ é independente do (o erro não aumenta ou diminui com o recurso, mas não está relacionado a ele) $X_i$
$X = (X_1, ..., X_n)$ e têm uma densidade comum . Em particular, todos os têm densidades comuns . $Y = (Y_1, ..., Y_n)$ $f_{X,Y}$ $(X_i, Y_i)$ $f_{X_i, Y_i}$

É necessário a seguinte observação simples: Dadas variáveis aleatórias com valor real com densidade comum e bijeção modo que e sejam diferenciáveis, então ou seja, a densidade da variável aleatória transformada é a densidade antiga avaliada em um ponto transformado. $n$ $Z_1, ..., Z_n$ $f_{Z_1, ..., Z_n}$ $\Phi : \mathbb{R}^n \to \mathbb{R}^n$ $\Phi$ $\Phi^{-1}$

f_{Φ (Z_{1}, . . ., Z_{n})} (z_{1}, . . ., z_{n}) = | det (\partial Φ^{- 1}) | f_{Z_{1}, . . ., Z_{n}} (Φ^{- 1} (z_{1}, . . ., z_{n}))

$f_{\Phi(Z_1, ..., Z_n)}(z_1, ..., z_n) = |\det(\partial \Phi^{-1})| f_{Z_1, ..., Z_n}(\Phi^{-1}(z_1, ..., z_n))$

A observação principal é que a variável aleatória bidimensional é uma transformação simples de , a saber onde . Temos . Sua matriz diferencial é que é determinante. $(Y_i, X_i)$ $(\epsilon_i, X_i)$

(Y_{i}, X_{i}) = Φ (ϵ_{i}, X_{i})

$(Y_i, X_i) = \Phi(\epsilon_i, X_i)$

Φ (e, x) = (e + β_{0} x, x)

$\Phi(e, x) = (e + \beta_0 x, x)$

Φ^{- 1} (y, x) = (y - β_{0} x, x)

$\Phi^{-1}(y, x) = (y - \beta_0 x, x)$

\partial Φ^{- 1} = (\begin{matrix} 1 & β_{0} \\ 0 & 1 \end{matrix})

$\partial \Phi^{-1} = \begin{pmatrix}1 & \beta_0 \\ 0 & 1 \end{pmatrix}$

Agora aplicamos a observação a esta situação e obtemos

f_{Y_{i}, X_{i}} (y, x) = f_{Φ (ϵ_{i}, X_{i})} (y, x) = 1 \cdot f_{ϵ_{i}, X_{i}} (Φ^{- 1} (y, x)) = f_{ϵ_{i}, X_{i}} (y - β_{0} x, x)

$f_{Y_i, X_i}(y,x) = f_{\Phi(\epsilon_i, X_i)}(y, x) = 1 \cdot f_{\epsilon_i, X_i}(\Phi^{-1}(y, x)) = f_{\epsilon_i, X_i}(y - \beta_0 x, x)$

Agora é independente de por suposição, portanto, ou melhor, e a partir disso (e de pelo pressuposto de não-dependência) obtém-se as equações de probabilidade usuais. $\epsilon_i$ $X_i$

f_{Y_{i}, X_{i}} (y, x) = f_{ϵ_{i}} (y - β_{0} x) f_{X} (x)

$f_{Y_i, X_i}(y,x) = f_{\epsilon_i}(y - \beta_0 x) f_X(x)$

f_{Y_{i} | X_{i}} (y | x) = \frac{f_{ϵ_{i}} (y - β_{0} x) f_{X} (x)}{f_{X} (x)} = f_{ϵ_{i}} (y - β_{0} x)

$f_{Y_i| X_i}(y|x) = \frac{f_{\epsilon_i}(y - \beta_0 x) f_X(x)}{f_X(x)} = f_{\epsilon_i}(y - \beta_0 x)$

f_{Y, X} = \prod_{i} f_{Y_{i}, X_{i}}

$f_{Y, X} = \prod_{i} f_{Y_i, X_i}$

Eu estou feliz agora :-)

Fabian Werner
fonte