Como saber a diferença entre modelos de regressão linear e não linear?

27

Eu estava lendo o seguinte link sobre regressão não linear SAS Não Linear . Meu entendimento ao ler a primeira seção "Regressão não-linear versus regressão linear" foi que a equação abaixo é realmente uma regressão linear, está correto? Se sim, por quê?

y=b1 1x3+b2x2+b3x+c

Também devo entender que, na regressão não linear, a multicolinearidade não é um problema? Eu sei que a multicolinearidade pode ser um problema na regressão linear, então, com certeza, se o modelo acima é de fato uma regressão linear, haveria multicolinearidade?

mHelpMe
fonte
Intimamente relacionado: stats.stackexchange.com/questions/33876 .
whuber
Também relacionado: O que significa "curvilíneo"?
gung - Restabelece Monica

Respostas:

35

Existem (pelo menos) três sentidos nos quais uma regressão pode ser considerada "linear". Para distingui-los, vamos começar com um modelo de regressão extremamente geral

Y=f(X,θ,ε).

Para manter a discussão simples, considere as variáveis ​​independentes como fixas e medidas com precisão (em vez de variáveis ​​aleatórias). Eles modelar observações de atributos cada, dando origem a o -vector de respostas . Convencionalmente, é representado como uma matriz e como um vetor coluna . O ( vetor- finito ) compreende os parâmetros . é uma variável aleatória com valor vetorial. Geralmente temn p n Y X n × p Y nXnpnYXn×pYnθqθnεncomponentes, mas às vezes tem menos. A função é com valor vetorial (com componentes para corresponder a ) e geralmente é assumida contínua nos dois últimos argumentos ( e ).n Y θfnYθε

O exemplo arquetípico , de ajustar uma linha aos dados , é o caso em que é um vetor de números - os valores x; é um vetor paralelo de números ; fornece a interceptação e slope ; e é um vetor de "erros aleatórios" cujos componentes são independentes (e geralmente assumidos como tendo distribuições idênticas mas desconhecidas do valor médio zero). Na notação anterior,X(x,y)XY N ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , ... , ε n )(xEu,Eu=1 1,2,...,n)Yn(yEu)θ=(α,β)αβε=(ε1 1,ε2,...,εn)

yEu=α+βxEu+εEu=f(X,θ,ε)Eu

com .θ=(α,β)

A função de regressão pode ser linear em qualquer um (ou todos) de seus três argumentos:

  • "Regressão linear, ou um" modelo linear ", normalmente significa que é linear em função dos parâmetros . O significado do SAS de" regressão não linear " é nesse sentido, com a suposição adicional de que é diferenciável em seu segundo argumento (os parâmetros). Essa suposição facilita a localização de soluções.f θf

  • Uma "relacionamento linear entre e " significa é linear como uma função de .Y f XXYfX

  • Um modelo apresenta erros aditivos quando é linear em . Nesses casos, sempre se assume que . (Caso contrário, não seria correto pensar em como "erros" ou "desvios" dos valores "corretos".)ε E ( ε ) = 0 εfεE(ε)=0 0ε

Toda combinação possível dessas características pode acontecer e é útil. Vamos examinar as possibilidades.

  1. Um modelo linear de um relacionamento linear com erros aditivos. Esta é uma regressão comum (múltipla), já exibida acima e mais geralmente escrita como

    Y=Xθ+ε.

    X foi aumentado, se necessário, adjacente a uma coluna de constantes e é um vetor .θp

  2. Um modelo linear de um relacionamento não linear com erros aditivos. Isso pode ser expresso como uma regressão múltipla aumentando as colunas de com funções não lineares do próprio X. Por exemplo,XX

    yi=α+βxi2+ε

    é desta forma. É linear em ; possui erros aditivos; e é linear nos valores ( 1 , x 2 i ), mesmo que x 2 i seja uma função não linear de x i .θ=(α,β)(1,xi2)xi2xi

  3. Um modelo linear de um relacionamento linear com erros não aditivos. Um exemplo é erro multiplicativo,

    yi=(α+βxi)εi.

    (Nesses casos, pode ser interpretado como "erro multiplicativo" quando a localização de ε i é 1. No entanto, o senso adequado de localização não é mais necessariamente a expectativa E ( ε i ) : pode ser a mediana ou a média geométrica, por exemplo. Um comentário semelhante sobre premissas de localização também se aplica, mutatis mutandis , em todos os outros contextos de erro não-aditivo.)εiεi1E(εi)

  4. Um modelo linear de um relacionamento não linear com erros não aditivos. Por exemplo ,

    yi=(α+βxi2)εi.
  5. Um modelo não linear de uma relação linear com erros aditivos. Um modelo não linear envolve combinações de seus parâmetros que não apenas não são lineares, como também não podem ser linearizadas reexpressando os parâmetros.

    • Como um não exemplo, considere

      yi=αβ+β2xi+εi.

      Definindo e β = β 2 e restringindo β 0 , este modelo pode ser reescritoα=αββ=β2β0

      yi=α+βxi+εi,

      exibindo-o como um modelo linear (de uma relação linear com erros aditivos).

    • Como exemplo, considere

      yi=α+α2xi+εi.

      É impossível encontrar um novo parâmetro , dependendo de α , que o linearize como uma função de α (mantendo-o linear em x i ).αααxi

  6. Um modelo não linear de um relacionamento não linear com erros aditivos.

    yi=α+α2xi2+εi.
  7. Um modelo não linear de um relacionamento linear com erros não aditivos.

    yi=(α+α2xi)εi.
  8. Um modelo não linear de um relacionamento não linear com erros não aditivos.

    yi=(α+α2xi2)εi.

Embora exibam oito formas distintas de regressão, elas não constituem um sistema de classificação porque algumas formas podem ser convertidas em outras. Um exemplo padrão é a conversão de um modelo linear com erros não aditivos (supostamente com suporte positivo)

yi=(α+βxi)εi

em um modelo linear de uma relação não linear com erros aditivos via logaritmo,

log(yi)=μi+log(α+βxi)+(log(εi)μi)

Aqui, a média geométrica do log foi removida dos termos de erro (para garantir que eles tenham médias zero, conforme necessário) e incorporada nos outros termos (onde seu valor precisará ser estimado ) De fato, uma das principais razões para reexprimir a variável dependente Y é criar um modelo com erros aditivos. A re-expressão também pode linearizar Y como uma função de um (ou de ambos) dos parâmetros e variáveis ​​explicativas.μi=E(log(εi))YY


Colinearidade

A colinearidade (dos vetores da coluna em ) pode ser um problema em qualquer forma de regressão. A chave para entender isso é reconhecer que a colinearidade leva a dificuldades na estimativa dos parâmetros. Abstrata e bastante geralmente, compare dois modelos Y = f ( X , θ , ε ) e Y = f ( X , θ , ε ) onde X é X com uma coluna ligeiramente alterada. Se isso induz enormes mudanças nas estimativasXY=f(X,θ,ε)Y=f(X,θ,ε)XX e θ ', então, obviamente, nós temos um problema. Uma maneira pela qual esse problema pode surgir é em um modelo linear, linear emX(ou seja, tipos (1) ou (5) acima), onde os componentes deθestão em correspondência um-a-um com as colunas deX. Quando uma coluna é uma combinação linear não trivial das outras, a estimativa do seu parâmetro correspondente pode ser qualquer número real. Esse é um exemplo extremo de tal sensibilidade.θ^θ^XθX

Deste ponto de vista, deve ficar claro que a colinearidade é um problema potencial para modelos lineares de relações não lineares (independentemente da aditividade dos erros) e que esse conceito generalizado de colinearidade é potencialmente um problema em qualquer modelo de regressão. Quando você tem variáveis ​​redundantes, terá problemas para identificar alguns parâmetros.

whuber
fonte
você pode recomendar uma leitura concisa e introdutória que me ajude a entender melhor a linearização mencionada, que é o coração da diferença entre o seu exemplo e o não exemplo no ponto 5. Obrigado.
ColorStatistics 27/01
@ Color Eu não estou familiarizado com nenhum. Sob suposições suaves sobre a diferenciabilidade de possíveis transformações, isso é abordado pela teoria das Equações Diferenciais Parciais (PDEs).
whuber
0

Você deve começar agora fazendo a diferença entre a realidade e o modelo que está usando para descrevê-la

A equação que você acabou de mencionar é uma equação polinomial (x ^ potência), ie. não linear ... mas você ainda pode modelá-lo usando um modelo linear generlizado (usando uma função de link) ou regressão polinomail, pois os parâmetros são lineares (b1, b2, b3, c)

Espero que tenha ajudado, na verdade é um pouco superficial: realidade / modelo

Po Stulat
fonte
3
Isso pode ser estimado através de mínimos quadrados comuns, pois o modelo é linear em parâmetros.
Analista de
então tudo tem a ver com os parâmetros? se b3 ^ 2 * x ainda seria linear?
MHelpMe 28/04
0

Um modelo é linear se for linear em parâmetros ou pode ser transformado para ser linear em parâmetros (linearizável). Os modelos lineares podem modelar relacionamentos lineares ou não lineares. Vamos expandir cada um deles.

Um modelo é linear em parâmetros se puder ser escrito como a soma dos termos, em que cada termo é uma constante ou um parâmetro que multiplica um preditor (X i ):

enter image description here

Observe que essa definição é muito estreita. Somente os modelos que atendem a essa definição são lineares. Todos os outros modelos são não lineares.

Existem dois tipos de modelos lineares que são confusos para modelos não lineares:

1. Modelos lineares de relações não lineares

Por exemplo, o modelo abaixo modela uma relação não linear (porque a derivada de Y em relação a X 1 é uma função de X 1 ). Criando uma nova variável W 1 = X 1 2 e reescrevendo a equação com W 1 substituindo X 1 2 , temos uma equação que satisfaz a definição de um modelo linear.

enter image description here

2. Modelos que não são imediatamente lineares, mas podem se tornar lineares após uma transformação (linearizável). Abaixo estão 2 exemplos de modelos linearizáveis:

Exemplo 1:

enter image description here

Este modelo pode parecer não linear porque não atende à definição de um modelo linear em parâmetros, no entanto, pode ser transformado em um modelo linear, portanto é linearizável / linearmente transformacional e, portanto, é considerado linear. modelo. As seguintes transformações o linearizariam. Comece tomando o logaritmo natural de ambos os lados para obter:

enter image description here

faça as seguintes substituições:

enter image description here

para obter o modelo linear abaixo:

enter image description here

Exemplo 2:

enter image description here

Este modelo pode parecer não linear porque não atende à definição de um modelo linear em parâmetros, no entanto, pode ser transformado em um modelo linear, portanto é linearizável / linearmente transformacional e, portanto, é considerado linear. modelo. As seguintes transformações o linearizariam. Comece tomando o recíproco de ambos os lados para obter:

enter image description here

faça as seguintes substituições:

enter image description here

para obter o modelo linear abaixo:

enter image description here

Qualquer modelo que não seja linear (nem mesmo por linearização) é não linear. Pense da seguinte maneira: se um modelo não atende à definição de modelo linear, ele é um modelo não linear, a menos que se prove que é linearizável; nesse ponto, ganha o direito de ser chamado de modelo linear.

A resposta de Whuber acima, bem como a resposta do Glen_b neste link, adicionará mais cor à minha resposta. Modelo linear não linear versus generalizado: como você se refere à regressão logística, de Poisson etc.?

ColorStatistics
fonte