O que são critérios e tomada de decisão para não linearidade em modelos estatísticos?

Espero que a seguinte pergunta geral faça sentido. Lembre-se de que, para os fins desta pergunta em particular, não estou interessado em razões teóricas (domínio do assunto) para introduzir a não linearidade. Portanto, formularei a questão completa da seguinte maneira:

O que é uma estrutura lógica ( critérios e, se possível, processo de tomada de decisão ) para introduzir a não linearidade nos modelos estatísticos por outras razões que não sejam teóricas (domínio do assunto)? Como sempre, recursos e referências relevantes também são bem-vindos.

nonlinear-regression methodology nonlinear regression-strategies Aleksandr Blekh
fonte

Respostas:

O processo de construção do modelo envolve um construtor de modelos tomando muitas decisões. Uma das decisões envolve a escolha entre diferentes classes de modelos a serem exploradas. Existem muitas classes de modelos que podem ser consideradas; por exemplo, modelos ARIMA, modelos ARDL, modelos com várias fontes de erros no espaço de estado, modelos LSTAR, modelos Min-Max, para citar apenas alguns. Obviamente, algumas classes de modelos são mais amplas que outras e não é comum descobrir que algumas classes de modelos são subclasses de outras.

Dada a natureza da questão, podemos nos concentrar principalmente em apenas duas classes de modelos; modelos lineares e não lineares .

Com a imagem acima em mente, começarei a abordar a questão dos OPs sobre quando é útil adotar um modelo não linear e se existe uma estrutura lógica para fazê-lo - de uma perspectiva estatística e metodológica.

A primeira coisa a notar é que os modelos lineares são uma pequena subclasse de modelos não lineares. Em outras palavras, modelos lineares são casos especiais de modelos não lineares. Existem algumas exceções nessa declaração, mas, para os propósitos atuais, não perderemos muito aceitando-a para simplificar as coisas.

Normalmente, um construtor de modelos seleciona uma classe de modelos e continua a escolher um modelo dentro dessa classe específica, empregando alguma metodologia. Um exemplo simples é quando se decide modelar uma série temporal como um processo ARIMA e, em seguida, segue a metodologia Box-Jenkins para selecionar um modelo dentre a classe de modelos ARIMA. Trabalhar dessa maneira, com metodologias associadas a famílias de modelos, é uma questão de necessidade prática.

Uma conseqüência da decisão de construir um modelo não linear é que o problema de seleção de modelos se torna muito maior (mais modelos devem ser considerados e mais decisões são enfrentadas) quando comparados à escolha entre um conjunto menor de modelos lineares, para que haja um real questão prática em questão. Além disso, pode até não haver metodologias totalmente desenvolvidas (conhecidas, aceitas, entendidas, fáceis de se comunicar) a serem usadas para selecionar dentre algumas famílias de modelos não lineares. Além disso, outra desvantagem da construção de modelos não lineares é que os modelos lineares são mais fáceis de usar e suas propriedades probabilísticas são mais conhecidas ( Teräsvirta, Tjøstheim e Granger (2010) ).

Dito isto, o PO solicita bases estatísticas para orientar a decisão em vez de práticas ou teóricas do domínio, por isso devo continuar.

Antes mesmo de pensar em como lidar com a seleção de quais modelos não lineares trabalhar, é preciso decidir inicialmente se deve trabalhar com modelos lineares ou não lineares. Uma decisão! Como fazer essa escolha?

Recorrendo a Granger e Terasvirta (1993) , adoto o seguinte argumento, que tem dois pontos principais em resposta às duas perguntas seguintes.

P: Quando é útil criar um modelo não linear? Em resumo, pode ser útil construir um modelo não linear quando a classe de modelos lineares já tiver sido considerada e considerada insuficiente para caracterizar o relacionamento sob inspeção. Pode-se dizer que esse procedimento de modelagem não linear (processo de tomada de decisão) vai de simples a geral, no sentido de passar de linear para não linear.

P: Existem bases estatísticas que podem ser usadas para justificar a construção de um modelo não linear? Se alguém decide construir um modelo não linear com base nos resultados dos testes de linearidade, eu diria que sim. Se o teste de linearidade sugerir que não há não linearidade significativa no relacionamento, não seria recomendável a construção de um modelo não linear; o teste deve preceder a decisão de construir.

Vou detalhar esses pontos por referência direta a Granger e Terasvirta (1993):

Antes de construir um modelo não linear, é aconselhável descobrir se de fato um modelo linear caracterizaria adequadamente as relações [econômicas] em análise. Se fosse esse o caso, haveria mais teoria estatística disponível para a construção de um modelo razoável do que se um modelo não linear fosse apropriado. Além disso, obter previsões ideais para mais de um período à frente seria muito mais simples se o modelo fosse linear. Pode acontecer, pelo menos quando as séries temporais são curtas, que o investigador calcule com sucesso um modelo não linear, embora a verdadeira relação entre as variáveis seja linear. O perigo de complicar desnecessariamente a construção do modelo é, portanto, real, mas pode ser diminuído pelo teste de linearidade.

No livro mais recente, Teräsvirta, Tjøstheim e Granger (2010), o mesmo tipo de conselho é dado, que cito agora:

Do ponto de vista prático, é [portanto] útil testar a linearidade antes de tentar estimar o modelo não-linear mais complicado. Em muitos casos, o teste é ainda necessário do ponto de vista estatístico. Vários modelos populares não lineares não são identificados sob linearidade. Se o modelo verdadeiro que gerou os dados for linear e o modelo não linear estiver interessado em aninhar esse modelo linear, os parâmetros do modelo não linear não poderão ser estimados de forma consistente. Assim, o teste de linearidade deve preceder qualquer modelagem e estimativa não linear.

Deixe-me terminar com um exemplo.

No contexto da modelagem de ciclos de negócios, um exemplo prático de uso de bases estatísticas para justificar a construção de um modelo não linear pode ser o seguinte. Como os modelos lineares univariados ou auto-regressivos vetoriais são incapazes de gerar séries temporais cíclicas assimétricas, vale a pena considerar uma abordagem de modelagem não linear, capaz de lidar com assimetrias nos dados. Uma versão expandida deste exemplo sobre reversibilidade de dados pode ser encontrada em Tong (1993) .

Desculpas se eu me concentrei demais em modelos de séries temporais. Tenho certeza, no entanto, de que algumas das idéias também são aplicáveis em outras configurações.

Graeme Walsh
fonte

Graeme, sua resposta é excelente e, embora outras respostas sejam excelentes, a sua é a mais próxima do que eu estava procurando (uma mini versão, se você preferir). +1 e aceito. Agradeço imensamente o seu esforço em preparar sua resposta. Tenho certeza de que vou revisá-lo mais de uma vez, bem como as referências. Eu acho que o livro do Dr. Harrell sobre estratégias de regressão também contém algumas partes de uma estrutura que eu idealmente teria. A propósito, minha idéia de um quadro estatístico temático é inspirada no excelente livro de Lisa Harlow, "A essência do pensamento multivariado", que tive o prazer de ler.

Aleksandr Blekh

A questão geral é decidir para quais tipos de problemas a linearidade é esperada; caso contrário, permita que os relacionamentos não sejam lineares conforme o tamanho da amostra permitir. A maioria dos processos em biologia, ciências sociais e outros campos não é linear. As únicas situações em que espero relacionamentos lineares são:

Mecânica newtoniana
Previsão de partir de medida anteriormente $Y$ $Y$

O último exemplo inclui o caso em que se tem uma variável dependente que também é medida na linha de base (tempo zero). $Y$

Raramente vejo um relacionamento linear em todos os lugares em um grande conjunto de dados.

A decisão de incluir não-linearidades nos modelos de regressão não deriva tanto de um princípio estatístico global, mas da maneira como o mundo funciona. Uma exceção é quando uma estrutura estatística subótima foi escolhida e não linearidades ou termos de interação devem ser introduzidos apenas para compensar a má escolha da estrutura. Às vezes, os termos de interação podem ser necessários para compensar os principais efeitos da sub-modelagem (por exemplo, assumindo linearidade). Podem ser necessários mais efeitos principais para compensar a perda de informações resultante da sub-modelagem dos outros efeitos principais.

Às vezes, os pesquisadores agonizam sobre a inclusão de uma determinada variável enquanto estão desajustando uma série de outras variáveis, forçando-as a agir linearmente. Na minha experiência, a suposição de linearidade é uma das suposições mais violadas que importam fortemente.

Frank Harrell
fonte

+1 Dr. Harrell, obrigado por sua valiosa resposta. Eu entendo seus pontos. No entanto, eu também estou curioso sobre (e que foi realmente a essência da minha pergunta) situações, quando o pesquisador ou cientista de dados tem que introduzir adicionais componentes não-lineares devido a teorias estatísticas ou vários assuntos (incluindo estatísticas, dados, metodologia, etc .), não teorias de domínio de assunto. Gostaria de receber suas idéias sobre isso.

Aleksandr Blekh

A linearidade depende tanto (ou mais) dos dados quanto do processo. A maioria dos processos na maioria dos campos é linear quando examinada em uma faixa estreita o suficiente (é por isso que o Cálculo é tão amplamente útil) e não é linear em uma faixa ampla o suficiente (incluindo processos mecânicos). Embora seja correto sugerir que quase tudo possa parecer não linear quando um tamanho de amostra grande o suficiente estiver disponível, talvez uma maneira mais pragmática de enquadrar o problema seja em termos de como decidir quando é útil adotar um modelo linear.

whuber

@ whuber: Obrigado pelo seu comentário. Muito útil. Agora entendo melhor a (não) linearidade sob duas perspectivas : teórica (domínio do assunto) e centrada nos dados . Ainda estou curioso sobre as perspectivas estatísticas e / ou metodológicas da introdução de não linearidade adicional devido a suposições estatísticas , questões (ou seja, pós-AED) ou aspectos semelhantes. Portanto, além da estrutura sugerida para o problema, também estou interessado na estrutura de tomada de decisão para quando é útil adotar um modelo não linear .

Aleksandr Blekh

"A maioria dos processos na maioria dos campos é linear quando examinada em uma faixa estreita o suficiente (é por isso que o Cálculo é tão amplamente útil) e não linear em uma faixa suficientemente ampla", embora extremamente óbvia para quem já fez um curso de cálculo. visão reveladora para mim. Obrigado Dr. @whuber +1.

Mugen

@Aleksandr Blekh você está procurando, digamos, um teste estatístico ou um gráfico residual que lhe dê uma razão estatística (em oposição a uma razão advinda da teoria subjacente) para justificar o uso de um modelo não linear?

Mugen

Ao construir o modelo, tento sempre os quadrados das variáveis juntamente com os componentes lineares. Por exemplo, ao criar um modelo de regressão simples, , um termo quadrado Se for significativo, será pode ser um caso para um modelo não linear. A intuição é, obviamente, a expansão de Taylor. Se você tiver uma função linear, apenas a primeira derivada deverá ser diferente de zero. Para funções não lineares, derivadas de ordem superior seriam diferentes de zero.

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha +\beta x_i+\varepsilon_i$

y_{i} = α + β x_{i} + γ x_{i}^{2} + ε_{i}

$y_i=\alpha +\beta x_i+\gamma x_i^2+\varepsilon_i$

γ

$\gamma$

Também tento frequentemente candidato a especificação assimétrica: Se é significativo, isso me leva a considerar explorando especificações assimétricas.

y_{i} = α + β max (0, x_{i}) + γ min (0, x_{i}) + ε_{i}

$y_i=\alpha +\beta \max(0,x_i)+\gamma \min(0,x_i)+\varepsilon_i$

γ \neq β

$\gamma\ne\beta$

Às vezes, tenho alguns valores ou faixas especiais nos meus dados; ou meus histogramas de variáveis explicativas têm dobras e pontos de inflexão. Então, experimento as splines lineares em torno desses pontos ou regiões especiais. As splines lineares mais simples seriam: Isso introduziria as diferentes inclinações para antes e depois do ponto . Você pode ter várias inclinações para a mesma variável em diferentes regiões. Se meu spline linear é significativo, eu brinco com pontos de nó e o uso, ou penso em modelos não lineares.

x^{a -} = min (x, a)

$x^{a-}=\min(x,a)$

x^{a +} = max (x, a)

$x^{a+}=\max(x,a)$

x

$x$

x = a

$x=a$

Esta não é a abordagem sistemática, mas é apenas uma das coisas que sempre faço.

Aksakal
fonte

+1 Insights interessantes. Obrigado por compartilhar - é bom saber. O que eu adoraria ter (ou até preparar) é uma estrutura / fluxo de trabalho coerente de abordagens semelhantes (grandes e pequenas) com raciocínio básico subjacente. Você acha que criar essa estrutura seria 1) viável e 2) valiosa para outras pessoas?

Aleksandr Blekh

@AleksandrBlekh, não acho que seja possível criar a estrutura universal. A mais geral das séries temporais é Box-Jenkins.

Aksakal

Os testes estatísticos para a seleção de modelos distorcerão as estimativas e, principalmente, os erros padrão.

Frank Harrell

@ssdecontrol, o argumento de expansão de Taylor também me deixa desconfiado de não usar termos de ordem inferior de polinômios. Por exemplo, se uma especificação candidata é , você deve ter uma opinião forte sobre a forma do seu modelo.

y_{i} = β_{2} x_{i}^{2} + ε_{i}

$y_i=\beta_2 x_i^2+\varepsilon_i$

Aksakal

@ssdecontrol: Veja Venables (1998), "Exegeses sobre modelos lineares", S-Plus Users 'Conference, Washington DC para mais informações sobre a heurística da série Taylor.

Scortchi - Restabelece Monica