A regressão linear múltipla em 3 dimensões é um plano de melhor ajuste ou uma linha de melhor ajuste?

Nosso professor não está entrando na representação matemática ou geométrica da regressão linear múltipla e isso me deixa um pouco confuso.

Por um lado, ainda é chamado de regressão linear múltipla, mesmo em dimensões mais altas. Por outro lado, se tivermos, por exemplo, e pudermos para e , isso não nos dará um plano de possíveis soluções e não uma linha?$\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$$X_1$$X_2$

Em geral, nossa superfície de previsão não será um hiperplano dimensional para variáveis ​​independentes?$k$$k$

Você está certo, a superfície da solução será em geral um hiperplano. Só que a palavra hiperplano é um bocado, o avião é mais curto e a linha é ainda mais curta. À medida que você continua na matemática, o caso unidimensional é discutido cada vez mais raramente, então a troca

Big words for high dimensional, Small words for small dimensional

começa a olhar, bem, para trás.

Por exemplo, quando vejo uma equação como , onde é uma matriz e são vetores, chamo isso de equação linear . Em uma parte anterior da minha vida, eu chamaria isso de sistema de equações lineares , reservando equação linear para o caso unidimensional. Mas então cheguei a um ponto em que o caso unidimensional não aparecia com muita frequência, enquanto o caso multidimensional estava em todo lugar.$Ax = b$$A$$x, b$

Isso também acontece com a notação. Já viu alguém escrever

Esse símbolo à esquerda é o nome de uma função; portanto, para ser formal e pedante, você deve escrever

Fica pior em multi-dimensões, quando a derivada recebe dois argumentos, um é o local em que você recebe a derivada e o outro é em qual direção você avalia a derivada, que se parece com

mas as pessoas ficam preguiçosas muito rapidamente e começam a abandonar um ou outro argumento, deixando-os entendidos pelo contexto.

Os matemáticos profissionais, línguas com firmeza no rosto, chamam isso de abuso de notação . Há assuntos em que seria essencialmente impossível se expressar sem abusar da notação, sendo minha amada geometria diferencial um exemplo. O grande Nicolas Bourbaki expressou o argumento com muita eloquência

Na medida do possível, chamamos a atenção no texto para os abusos de linguagem, sem os quais qualquer texto matemático corre o risco de pedantismo, para não dizer ilegível.

- Bourbaki (1988)

Você até comenta sobre um abuso de notação em que caí acima, sem nem mesmo perceber!

Tecnicamente, como você escreveu df / dx como uma derivada parcial, mesmo que as outras variáveis ​​implícitas sejam mantidas como constantes, a derivada parcial tecnicamente ainda não seria uma função de todas as variáveis ​​da função original, como em df / dx ( x, y, ...)?

Você está perfeitamente correto, e isso dá uma boa ilustração (não intencional) do que estou recebendo aqui.

Encontro a derivada em um verdadeiro sentido de uma variável tão raramente nos meus trabalhos e estudos diários, que esqueci essencialmente que é a notação correta aqui. Eu pretendia que o exposto fosse sobre uma função de uma variável, mas inconscientemente sinalizava o contrário pelo uso de .$\frac{d f}{d x}$$\partial$

Acho que penso nisso como quando dizemos "soma infinita" em vez de "o limite de uma soma à medida que o número de termos se aproxima do infinito". A maneira como penso é que está tudo bem, desde que a diferença conceitual seja clara. Nesse caso (regressão múltipla), eu não tinha muita certeza do que estávamos falando em primeiro lugar.

Sim, essa é uma maneira consistente de pensar sobre isso. A única diferença real é que temos uma situação tão comum que inventamos notação (*) e terminologia adicionais ( e "soma infinita") para expressá-la. Em outros casos, generalizamos um conceito, e então esse conceito generalizado se torna tão onipresente que reutilizamos notação ou terminologia antiga para o conceito generalizado.$\Sigma$

Como pessoas preguiçosas, queremos economizar palavras nos casos mais comuns.

(*) Historicamente, não é assim que somas infinitas se desenvolvem. O limite da definição de somas parciais foi desenvolvido a posteriori quando os matemáticos começaram a encontrar situações em que era necessário raciocinar com muita precisão.

"Linear" não significa exatamente o que você acha que faz nesse contexto - é um pouco mais geral

Primeiramente, não é realmente uma referência à linearidade nos x's, mas aos parâmetros * ("linear nos parâmetros").

Em segundo lugar, uma função linear no sentido de álgebra linear é essencialmente um mapa linear; é uma função linear no espaço .$E(Y|X) = X\beta$$\beta$

Portanto, um plano (ou mais geralmente hiperplano) de melhor ajuste ainda é "regressão linear".

* Embora seja linear na fornecido x de se considerar a coluna constante de é como parte do Vectore coordenar-(ou, alternativamente, pensar nisso em coordenadas homogêneas com normalização do adicional de coordenadas). Ou você pode apenas dizer que é linear em eX β X $1$$X\beta$$X$$\beta$