Por que incluir latitude e longitude em um GAM é responsável pela autocorrelação espacial?

60

Eu produzi modelos aditivos generalizados para o desmatamento. Para explicar a autocorrelação espacial, incluímos latitude e longitude como um termo de interação suavizado (ou seja, s (x, y)).

Baseei isso na leitura de muitos artigos em que os autores dizem 'para explicar a autocorrelação espacial, as coordenadas de pontos foram incluídas como termos suavizados', mas nunca explicaram por que isso realmente explica isso. É muito frustrante. Li todos os livros que encontro sobre os GAMs na esperança de encontrar uma resposta, mas a maioria (por exemplo, Modelos Aditivos Generalizados, uma Introdução ao R, SN Wood) apenas toca no assunto sem explicar.

Eu realmente apreciaria se alguém pudesse explicar POR QUE a inclusão de contas de latitude e longitude para autocorrelação espacial e o que 'contabilização' realmente significa - é simplesmente o suficiente para incluí-lo no modelo ou se você deve comparar um modelo com s (x, y) em e um modelo sem? E o desvio explicado pelo termo indica a extensão da autocorrelação espacial?

r modeling spatial autocorrelation gam gisol
fonte
Se for relevante, usei a função 'bam' do pacote 'mgcv' em R.
gisol 01/09/12
Além disso, eu testei para autocorrelação espacial usando de Moran I.
gisol
possível duplicata de Você pode usar uma função spline das coordenadas espaciais para controlar a autocorrelação espacial?
Macro
3
Dadas as respostas aqui, podemos sinalizar os outros links do Q @Macro como duplicado deste, para que as pessoas que se deparem com ele vejam as respostas aqui, especialmente a do whuber.
Gavin Simpson
+1 @GavinSimpson - a propósito, observe que você tem o poder de votar de perto, o que levará a que as duas perguntas sejam mescladas.
Macro

Respostas:

38

A questão principal em qualquer modelo estatístico são as premissas subjacentes a qualquer procedimento de inferência. No tipo de modelo que você descreve, os resíduos são assumidos independentes. Se eles tiverem alguma dependência espacial e isso não for modelado na parte sistemática do modelo, os resíduos desse modelo também exibirão dependência espacial ou, em outras palavras, serão espacialmente autocorrelacionados. Essa dependência invalidaria a teoria que produz valores de p a partir de estatísticas de teste no GAM, por exemplo; você não pode confiar nos valores de p porque eles foram calculados assumindo independência.

Você tem duas opções principais para lidar com esses dados; i) modelar a dependência espacial na parte sistemática do modelo, ou ii) relaxar a suposição de independência e estimar a correlação entre os resíduos.

i) é o que está sendo tentado, incluindo uma suave localização espacial no modelo. ii) requer estimativa da matriz de correlação dos resíduos frequentemente durante o ajuste do modelo usando um procedimento como mínimos quadrados generalizados. O quão bem essas abordagens lidam com a dependência espacial dependerá da natureza e complexidade da dependência espacial e com que facilidade ela pode ser modelada.

Em resumo, se você pode modelar a dependência espacial entre as observações, é mais provável que os resíduos sejam variáveis ​​aleatórias independentes e, portanto, não violem as suposições de qualquer procedimento inferencial.

Gavin Simpson
fonte
Obrigado pela sua resposta clara Gavin. O que torna a autocorrelação espacial fundamentalmente diferente de qualquer gradiente não incluído no modelo? Digamos que sua área de estudo estivesse em uma colina inclinada e as espécies de interesse preferissem um habitat mais baixo do que um habitat mais alto. Deixar de incluir a elevação no modelo deixaria uma estrutura nos resíduos, não seria? É simplesmente que a autocorrelação espacial é (ou foi) esquecida ou não considerada? (PS talvez este seja um exemplo ruim, pois a inclusão de lat, long também seria responsável por esse efeito).
gisol 01/09/12
4
Sim. Suspeito que, nos exemplos em que você analisou, o componente espacial tenha interesse, por isso tenha sido modelado explicitamente por meio de um lat / lon ou o componente espacial seja um termo incômodo, mas precise ser modelado para deixar os resíduos iid. "o componente é melhor modelado através de uma variável diferente (por exemplo, elevação no seu comentário), em seguida, uma suavidade dessa variável seria usada no lugar das localizações espaciais.
Gavin Simpson
11
Por que suavizado? O que exatamente se entende por "suavizado"?
Julian
11
@Julian Os valores da resposta são suavizados em relação às duas coordenadas espaciais. Ou, dito de outra maneira, o efeito espacial é estimado como uma função 2D suave. Por suave, queremos dizer que tem alguma oscilação medida pela segunda derivada ao quadrado integrada do spline. A ondulação é escolhida para equilibrar o ajuste e a complexidade do modelo. Se você quiser saber como as funções suaves (splines) são formadas, pode valer a pena fazer uma pergunta específica.
Gavin Simpson
55

"Autocorrelação espacial" significa várias coisas para várias pessoas. Um conceito abrangente, no entanto, é que um fenômeno observado em locais pode depender de alguma maneira definida de (a) covariáveis, (b) local e (c) seus valores em locais próximos . (Onde as definições técnicas variam, estão no tipo de dados que estão sendo considerados, qual "caminho definitivo" é postulado e o que significa "próximo": tudo isso precisa ser quantitativo para prosseguir.)z

Para ver o que pode estar acontecendo, vamos considerar um exemplo simples de um modelo espacial para descrever a topografia de uma região. Deixe a elevação medida em um ponto ser . Um modelo possível é que depende de alguma maneira matemática definida das coordenadas de , que irei escrever nessa situação bidimensional. Deixando representar (hipoteticamente independentes) entre as observações e o modelo (que, como de costume, é assumido como tendo expectativa zero), podemos escreverzy(z)yz(z1,z2)ε

y(z)=β0+β1z1+β2z2+ε(z)

para um modelo de tendência linear . A tendência linear (representada pelos e ) é uma maneira de capturar a ideia de que os valores próximos e , para fechem para , tendem a estar próximos um do outro. Podemos até calcular isso considerando o valor esperado do tamanho da diferença entre e , . Acontece que a matemática é muitoβ1β2y(z)y(z′)zz′y(z)y(z′)E[|y(z)−y(z′)|]mais simples se usarmos uma medida ligeiramente diferente da diferença: em vez disso, calculamos a diferença quadrada esperada :

E[(y(z)−y(z′))2]=E[(β0+β1z1+β2z2+ε(z)−(β0+β1z1′+β2z2′+ε(z′)))2]=E[(β1(z1−z1′)+β2(z2−z2)′+ε(z)−ε(z′))2]=E[(β1(z1−z1′)+β2(z2−z2)′)2+2(β1(z1−z1′)+β2(z2−z2)′)(ε(z)−ε(z′))+(ε(z)−ε(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+E[(ε(z)−ε(z′))2]

Este modelo está livre de qualquer autocorrelação espacial explícita, porque não existe um termo que relacione diretamente a valores próximos .y(z)y(z′)

Um modelo alternativo, diferente, ignora a tendência linear e supõe apenas que haja autocorrelação. Uma maneira de fazer isso é através da estrutura dos desvios . Podemos afirmar queε(z)

y(z)=β0+ε(z)

e, para explicar nossa antecipação da correlação, assumiremos algum tipo de "estrutura de covariância" para o . Para que isso seja espacialmente significativo, assumiremos a covariância entre e , igual a porque o tem zero médias, tende a diminuir à medida que e se tornam cada vez mais distantes. Como os detalhes não importam, vamos chamar essa covariância de . Isso é autocorrelação espacial.εε(z)ε(z′)E[ε(z)ε(z′)]εzz′C(z,z′) De fato, a correlação (usual de Pearson) entre e éy(z)y(z′)

ρ(y(z),y(z′))=C(z,z′)C(z,z)C(z′,z′).

Nesta notação, a diferença quadrada esperada anterior de para o primeiro modelo éy

E[(y(z)−y(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+E[(ε(z)−ε(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+C1(z,z)+C1(z′,z′)

(assumindo ) porque o em locais diferentes foi considerado independente. Escrevi vez de para indicar que esta é a função de covariância do primeiro modelo.z≠z′εC1C

Quando as covariâncias do não variam drasticamente de um local para outro (na verdade, geralmente são consideradas constantes), essa equação mostra que a diferença quadrática esperada em aumenta quadraticamente com a separação entre e . A quantidade real de aumento é determinada pelos coeficientes de tendência e .εyzz′β0β1

Vamos ver quais são as diferenças quadráticas esperadas nos 's para o novo modelo, modelo 2:y

E[(y(z)−y(z′))2]=E[(β0+ε(z)−(β0+ε(z′)))2]=E[(ε(z)−ε(z′))2]=E[ε(z)2−2ε(z)ε(z′)+ε(z′)2]=C2(z,z)−2C2(z,z′)+C2(z′,z′).

Novamente, isso se comporta da maneira correta: como pensamos que deve diminuir à medida que e se tornam mais separados, a diferença quadrada esperada em 's na verdade vai -se com o aumento da separação dos locais.C2(z,z′)zz′y

Comparando as duas expressões para nos dois modelos nos mostra que no primeiro modelo está desempenhando um papel matematicamente idêntico a no segundo modelo. (Há uma constante aditiva à espreita lá, enterrada nos diferentes significados de , mas isso não importa nesta análise.) Ergo , dependendo do modelo, correlação espacial é normalmente representado como uma combinação de uma tendência e uma estrutura de correlação estipulada para erros aleatórios.( β 1 ( z 1 - z ′ 1 ) + β 2 ( z 2 - z 2 ) ′ ) 2 - 2 C 2 ( z , z ′ ) C i ( z , z )E[(y(z)−y(z′))2](β1(z1−z1′)+β2(z2−z2)′)2−2C2(z,z′)Ci(z,z)

Agora, espero, temos uma resposta clara à pergunta: pode-se representar a idéia por trás da Lei da Geografia de Tobler ("tudo está relacionado a todo o resto, mas as coisas mais próximas estão mais relacionadas") de maneiras diferentes. Em alguns modelos, a Lei de Tobler é adequadamente representada pela inclusão de tendências (ou termos "à deriva") que são funções de coordenadas espaciais como longitude e latitude. Em outros, a Lei de Tobler é capturada por meio de uma estrutura de covariância não trivial entre termos aleatórios aditivos (oε) Na prática, os modelos incorporam os dois métodos. Qual você escolhe depende do que deseja realizar com o modelo e de sua visão de como a autocorrelação espacial surge - seja implícita por tendências subjacentes ou refletindo variações que você deseja considerar aleatórias. Nenhum dos dois está sempre certo e, em qualquer problema, muitas vezes é possível usar os dois tipos de modelos para analisar os dados, entender o fenômeno e prever seus valores em outros locais (interpolação).

whuber
fonte
2
+1 - é bom ver o link entre duas abordagens para lidar com a dependência espacial. Ótima resposta, whuber!
Macro
Muito abrangente, obrigado. Levarei alguns momentos para pensar sobre tudo isso.
gisol 01/09/12
6
Se todos os escritos estatísticos fossem desse tipo, haveria muito mais trabalho estatístico aplicado de maneira clara no mundo. Lindamente feito.
Ari B. Friedman
Entendo essa resposta corretamente quando deduzo que a simples adição de coordenadas X / Y como variáveis ​​independentes a qualquer modelo (?!) será responsável pela autocorrelação espacial em algum grau?
Julian
11
@ Julian: Estamos falando sobre a construção de modelos diferentes para os mesmos dados. Se você incluir as coordenadas X e Y como variáveis ​​explicativas, mas não contabilizar a correlação espacial, então "correlação espacial" não faz sentido para esse modelo; portanto, devemos ter cuidado com o que queremos dizer com "contabilizar correlação espacial". Mas se entendermos sua pergunta para perguntar se a inclusão das coordenadas como variáveis ​​explicativas pode ser tão eficaz quanto a construção de um modelo no qual a correlação espacial seja explicitamente representada, minha resposta é "sim, geralmente esse é o caso".
whuber
0

As outras respostas são boas. Eu só queria adicionar algo sobre 'contabilizar' a autocorrelação espacial. Às vezes, essa afirmação é feita mais fortemente ao longo das linhas de "contabilização da autocorrelação espacial não explicada pelas covariáveis".

Isso pode apresentar uma imagem enganosa do que o bom espacial faz. Não é como se houvesse uma fila ordenada na probabilidade de que o paciente esperasse pacientemente as covariáveis ​​irem primeiro e, em seguida, o paciente esfregasse as partes "inexplicáveis". Na realidade, todos eles têm a chance de explicar os dados.

Este artigo, com um título adequadamente nomeado, apresenta a questão com muita clareza, embora seja do ponto de vista de um modelo de CAR que os princípios se apliquem aos recursos do GAM.

Adicionar erros correlacionados espacialmente pode atrapalhar o efeito fixo que você ama

A 'solução' no papel é suavizar os resíduos em vez de suavizar o espaço. Isso teria o efeito de permitir que suas covariáveis ​​expliquem o que podem. Obviamente, existem muitas aplicações em que isso não seria uma solução desejável.

ASeaton
fonte
-2

A correlação espacial é simplesmente como as coordenadas x e y se relacionam com a magnitude da superfície resultante no espaço. Portanto, a autocorrelação entre as coordenadas pode ser expressa em termos de uma relação funcional entre os pontos vizinhos.

Michael Chernick
fonte
11
Olá Michael, obrigado pela resposta. Acho que entendi o que você disse, mas parece ser uma descrição da autocorrelação espacial, e não como a inclusão de coordenadas é responsável por isso - talvez eu esteja perdendo o seu argumento. Por exemplo, digamos que eu tenha 2 modelos, o primeiro (A) com um único termo - desmatamento em função da distância de uma capital, e o segundo (B) com a distância do termo de capital, mas também o latente e o longo. prazo. Você se importaria em reiterar sua resposta nesse contexto? Talvez eu pudesse entender melhor.
gisol 01/09/12
11
Penso que, se não houver termo de interação no modelo, a autocorrelação espacial entre pontos vizinhos é 0. Quando você tem um termo de interação, esse termo determina o valor das autocorrelações espaciais.
Michael Chernick 01/09/12
4
@ Michael, a autocorrelação espacial significa que a correlação entre pontos depende de suas localizações espaciais. Eu acho que essa resposta seria mais útil se você pudesse explicar por que usar uma estimativa de função suave, com as localizações espaciais como entradas, explica isso. Na superfície, parece que a abordagem da função suave modela a média enquanto a autocorrelação espacial se refere à estrutura de covariância . Sei que existe uma relação entre a função de covariância de um processo tranquilo e a estimativa de funções tranqüilas, mas, sem fazer essa conexão, essa resposta parece incompleta.
Macro
11
@ Michael, certamente você pode ver que fazer com que as coordenadas lat / long afetem a média é diferente de modelar as correlações entre dois pontos no espaço ... O OP perguntou como modelar a autocorrelação espacial e acho que parte do argumento - a parte que explica exatamente como o ajuste de uma superfície espacial lisa (que é o que um modelo aditivo generalizado nas coordenadas faria) modela a autocorrelação espacial. Existe uma relação entre funções de gams e covariância (não sei o suficiente para ser mais preciso), mas apelar para essa relação parece ser o necessário aqui.
Macro
11
@Marco Eu daria uma olhada no livro de Simon Wood, se puder, pois ele possui os detalhes e cita a literatura relevante sobre os suaves como bit de efeitos aleatórios.
Gavin Simpson