Quando a covariância à distância é menos apropriada que a covariância linear?

21

Acabei de ser apresentado (vagamente) à covariância / correlação browniana / à distância . Parece particularmente útil em muitas situações não lineares, ao testar a dependência. Mas não parece ser usado com muita frequência, embora covariância / correlação sejam frequentemente usadas para dados não lineares / caóticos.

Isso me faz pensar que pode haver algumas desvantagens na covariância à distância. Então, o que são e por que nem todos usam sempre a covariância à distância?

naught101
fonte
Eu li que você estava usando o dcov para comparar séries temporais não lineares e combiná-las com o peso. Eu queria saber se o que você fez é usar uma covariância de distância ponderada. a correlação de distância? Estou tentando fazer isso, mas não tenho certeza se a introdução de um vetor de peso nas fórmulas de correlação de distância é o caminho certo a seguir.
user3757561
Não, desculpe @ user3757561, eu estava apenas tentando correlação à distância como um substituto para a correlação e, em seguida, criando pesos com base nisso. Mas eu não acabar de usá-lo de qualquer maneira ...
naught101

Respostas:

18

Tentei coletar algumas observações sobre covariância à distância com base em minhas impressões ao ler as referências listadas abaixo. No entanto, não me considero um especialista neste tópico. Comentários, correções, sugestões, etc. são bem-vindos.

As observações são (fortemente) tendenciosas em relação a possíveis inconvenientes, conforme solicitado na pergunta original .

A meu ver, as possíveis desvantagens são as seguintes:

  1. A metodologia é nova . Meu palpite é que esse é o maior fator em relação à falta de popularidade no momento. Os artigos que descrevem a covariância à distância começam em meados dos anos 2000 e progridem até os dias atuais. O artigo citado acima é o que recebeu mais atenção (exagero?) E tem menos de três anos. Por outro lado, a teoria e os resultados sobre correlação e medidas semelhantes a correlação têm mais de um século de trabalho por trás delas.
  2. Os conceitos básicos são mais desafiadores . A correlação produto-momento de Pearson, no nível operacional, pode ser explicada aos calouros da faculdade sem um histórico de cálculo com bastante facilidade. Um ponto de vista "algorítmico" simples pode ser apresentado e a intuição geométrica é fácil de descrever. Por outro lado, no caso da covariância à distância, mesmo a noção de somas de produtos de distâncias euclidianas aos pares é um pouco mais difícil e a noção de covariância em relação a um processo estocástico vai muito além do que poderia ser razoavelmente explicado a esse público. .
  3. É computacionalmente mais exigente . O algoritmo básico para calcular a estatística de teste é no tamanho da amostra, em oposição a O ( n ) para métricas de correlação padrão. Para amostras pequenas, isso não é grande coisa, mas para amostras maiores, torna-se mais importante.O(n2)O(n)
  4. A estatística do teste não é livre de distribuição, mesmo assintoticamente . Pode-se esperar que, para uma estatística de teste que seja consistente com todas as alternativas, a distribuição - pelo menos assintoticamente - seja independente das distribuições subjacentes de e Y sob a hipótese nula. Esse não é o caso da covariância à distância, pois a distribuição abaixo do nulo depende da distribuição subjacente de X e Y, mesmo que o tamanho da amostra tenda ao infinito. Ele é verdade que as distribuições são uniformemente delimitada por uma χ 2 uma distribuição, o que permite o cálculo de um conservador valor crítico.XYXYχ12
  5. |ρ|
  6. Propriedades de energia desconhecidas . Ser consistente com todas as alternativas garante essencialmente que a covariância à distância deve ter um poder muito baixo contra algumas alternativas. Em muitos casos, alguém está disposto a desistir da generalidade para ganhar poder adicional contra alternativas particulares de interesse. Os artigos originais mostram alguns exemplos nos quais eles reivindicam alta potência em relação às métricas de correlação padrão, mas acredito que, voltando a (1) acima, seu comportamento em relação às alternativas ainda não é bem conhecido.

Para reiterar, essa resposta provavelmente se mostra bastante negativa. Mas, essa não é a intenção. Existem algumas idéias muito bonitas e interessantes relacionadas à covariância à distância, e a relativa novidade também abre caminhos de pesquisa para entendê-la mais plenamente.

Referências :

  1. GJ Szekely e ML Rizzo (2009), covariância à distância browniana , Ann. Appl. Statist. vol. 3 não. 4, 1236 a 1265.
  2. GJ Szekely, ML Rizzo e NK Bakirov (2007), Medição e teste de independência por correlação de distâncias , Ann. Statist. vol. 35, 2769–2794.
  3. R. Lyons (2012), covariância à distância em espaços métricos , Ann. Probab. (aparecer).
cardeal
fonte
Excelente resposta, obrigado. Algumas delas são um pouco sobre a minha cabeça, mas eu acho que vou ser capaz de remediar isso me :)
naught101
1
Veja também Resumo e discussão de: Clube de Jornal de Estatísticas “Covariância à Distância Browniana”, 36-825 Benjamin Cowley e Giuseppe Vinci 27 de outubro de 2014 stat.cmu.edu/~ryantibs/journalclub/dcov.pdf
Felipe G. Nievinski
2
O(nregistron)
3

Eu poderia estar perdendo alguma coisa, mas apenas ter uma quantificação da dependência não linear entre duas variáveis ​​não parece ter muito retorno. Não lhe dirá a forma do relacionamento. Não fornecerá meios para prever uma variável da outra. Por analogia, ao fazer uma análise exploratória de dados, às vezes se usa uma curva de loess (plotagem de dispersão ponderada localmente mais suave) como um primeiro passo para verificar se os dados são melhor modelados com uma linha reta, quadrática, cúbica, etc. por si só não é uma ferramenta preditiva muito útil. É apenas uma primeira aproximação no caminho para encontrar uma equação viável para descrever uma forma bivariada. Essa equação, diferentemente do loess (ou do resultado da covariância à distância), pode formar a base de um modelo confirmatório.

rolando2
fonte
Para os meus propósitos, ele tem uma recompensa. Eu não estou usando dcov () para prever nada, em vez disso, comparando várias séries temporais não lineares em um conjunto e combinando-as com pesos com base em sua dependência. Nessa situação, o dcov () possui benefícios potencialmente grandes.
naught101
@ naught101 Você pode colocar mais informações. - quando você diz 'combinar'? Isso me parece interessante em termos de ponderação com base na dependência não linear. Você quer dizer categorizar a série temporal em grupos? Além disso, o que os pesos alto e baixo enfatizam nesse cenário?
carro fúnebre
2
@PraneethVepakomma: confira a minha resposta em stats.stackexchange.com/questions/562/...
naught101
1
Além disso, se você conhece a forma geral de dependência (por exemplo, equação polinomial), pode quantificar a força da dependência usando o coeficiente de determinação. Consulte, por exemplo, Computing R2 ajustado para regressões polinomiais
Felipe G. Nievinski