A regressão linear múltipla em 3 dimensões é um plano de melhor ajuste ou uma linha de melhor ajuste?

11

Nosso professor não está entrando na representação matemática ou geométrica da regressão linear múltipla e isso me deixa um pouco confuso.

Por um lado, ainda é chamado de regressão linear múltipla, mesmo em dimensões mais altas. Por outro lado, se tivermos, por exemplo, e pudermos para e , isso não nos dará um plano de possíveis soluções e não uma linha?Y^=b0+b1X1+b2X2X1X2

Em geral, nossa superfície de previsão não será um hiperplano dimensional para variáveis ​​independentes?kk

jeremy radcliff
fonte

Respostas:

12

Você está certo, a superfície da solução será em geral um hiperplano. Só que a palavra hiperplano é um bocado, o avião é mais curto e a linha é ainda mais curta. À medida que você continua na matemática, o caso unidimensional é discutido cada vez mais raramente, então a troca

Big words for high dimensional, Small words for small dimensional

começa a olhar, bem, para trás.

Por exemplo, quando vejo uma equação como , onde é uma matriz e são vetores, chamo isso de equação linear . Em uma parte anterior da minha vida, eu chamaria isso de sistema de equações lineares , reservando equação linear para o caso unidimensional. Mas então cheguei a um ponto em que o caso unidimensional não aparecia com muita frequência, enquanto o caso multidimensional estava em todo lugar.Ax=bAx,b

Isso também acontece com a notação. Já viu alguém escrever

fx=2x

Esse símbolo à esquerda é o nome de uma função; portanto, para ser formal e pedante, você deve escrever

fx(x)=2x

Fica pior em multi-dimensões, quando a derivada recebe dois argumentos, um é o local em que você recebe a derivada e o outro é em qual direção você avalia a derivada, que se parece com

xf(v)

mas as pessoas ficam preguiçosas muito rapidamente e começam a abandonar um ou outro argumento, deixando-os entendidos pelo contexto.

Os matemáticos profissionais, línguas com firmeza no rosto, chamam isso de abuso de notação . Há assuntos em que seria essencialmente impossível se expressar sem abusar da notação, sendo minha amada geometria diferencial um exemplo. O grande Nicolas Bourbaki expressou o argumento com muita eloquência

Na medida do possível, chamamos a atenção no texto para os abusos de linguagem, sem os quais qualquer texto matemático corre o risco de pedantismo, para não dizer ilegível.

- Bourbaki (1988)

Você até comenta sobre um abuso de notação em que caí acima, sem nem mesmo perceber!

Tecnicamente, como você escreveu df / dx como uma derivada parcial, mesmo que as outras variáveis ​​implícitas sejam mantidas como constantes, a derivada parcial tecnicamente ainda não seria uma função de todas as variáveis ​​da função original, como em df / dx ( x, y, ...)?

Você está perfeitamente correto, e isso dá uma boa ilustração (não intencional) do que estou recebendo aqui.

Encontro a derivada em um verdadeiro sentido de uma variável tão raramente nos meus trabalhos e estudos diários, que esqueci essencialmente que é a notação correta aqui. Eu pretendia que o exposto fosse sobre uma função de uma variável, mas inconscientemente sinalizava o contrário pelo uso de .dfdx

Acho que penso nisso como quando dizemos "soma infinita" em vez de "o limite de uma soma à medida que o número de termos se aproxima do infinito". A maneira como penso é que está tudo bem, desde que a diferença conceitual seja clara. Nesse caso (regressão múltipla), eu não tinha muita certeza do que estávamos falando em primeiro lugar.

Sim, essa é uma maneira consistente de pensar sobre isso. A única diferença real é que temos uma situação tão comum que inventamos notação (*) e terminologia adicionais ( e "soma infinita") para expressá-la. Em outros casos, generalizamos um conceito, e então esse conceito generalizado se torna tão onipresente que reutilizamos notação ou terminologia antiga para o conceito generalizado.Σ

Como pessoas preguiçosas, queremos economizar palavras nos casos mais comuns.

(*) Historicamente, não é assim que somas infinitas se desenvolvem. O limite da definição de somas parciais foi desenvolvido a posteriori quando os matemáticos começaram a encontrar situações em que era necessário raciocinar com muita precisão.

Matthew Drury
fonte
É engraçado você dar o exemplo de derivadas parciais, porque eu sempre me perguntava sobre isso (as alegrias de estudar sozinho ...). A propósito (não relacionado e não sendo eu pedante, mas apenas querendo ter certeza de que entendo o máximo possível) tecnicamente, desde que você escreveu df / dx como uma derivada parcial, mesmo que as outras variáveis ​​implícitas sejam mantidas como constantes, não seria a derivada parcial tecnicamente ainda é uma função de todas as variáveis ​​da função original, como em df / dx (x, y, ...)? Eu acho que minha pergunta é: a derivada parcial ainda não é uma função de todas as variáveis?
Jeremy radcliff
Além disso, obrigado por explicar tudo isso. Acho que penso nisso como quando dizemos "soma infinita" em vez de "o limite de uma soma à medida que o número de termos se aproxima do infinito". A maneira como penso é que está tudo bem, desde que a diferença conceitual seja clara. Nesse caso (regressão múltipla), eu não tinha muita certeza do que estávamos falando em primeiro lugar. Tentei imaginar uma linha em 3d e depois percebi que não fazia sentido se deixássemos várias variáveis ​​independentes variar livremente, então só queria ter certeza.
22416 jeremy radcliff
+1 ótima resposta. Às vezes, as pessoas são preguiçosas e causam muitas confusões. É por isso que eu estava tentando fazer anotações neste post. stats.stackexchange.com/questions/216286/…
Haitao Du
@jeremyradcliff Eu editei em alguns comentários.
Matthew Drury
@MatthewDrury, obrigado por reservar um tempo para abordar meus comentários. É muito útil para mim, porque eu estudo a grande maioria da matemática que conheço, e a falta de cultura circundante e o acesso a matemáticos criam lugares como troca de pilhas e respostas como a sua de valor inestimável para mim.
Jeremy radcliff
5

"Linear" não significa exatamente o que você acha que faz nesse contexto - é um pouco mais geral

Primeiramente, não é realmente uma referência à linearidade nos x's, mas aos parâmetros * ("linear nos parâmetros").

Em segundo lugar, uma função linear no sentido de álgebra linear é essencialmente um mapa linear; é uma função linear no espaço .βE(Y|X)=Xββ

Portanto, um plano (ou mais geralmente hiperplano) de melhor ajuste ainda é "regressão linear".

* Embora seja linear na fornecido x de se considerar a coluna constante de é como parte do Vectore coordenar-(ou, alternativamente, pensar nisso em coordenadas homogêneas com normalização do adicional de coordenadas). Ou você pode apenas dizer que é linear em eX β X β1XβXβ

Glen_b -Reinstate Monica
fonte