O que acontece se as variáveis ​​explicativas e de resposta são classificadas independentemente antes da regressão?

Suponha que tenhamos um conjunto de dados com pontos. Queremos realizar uma regressão linear, mas primeiro classificamos os valores e independentemente um do outro, formando um conjunto de dados . Existe alguma interpretação significativa da regressão no novo conjunto de dados? Isso tem um nome?n X i Y i ( X i , Y j$(X_i,Y_i)$$n$$X_i$$Y_i$$(X_i,Y_j)$

Eu imagino que seja uma pergunta boba, então peço desculpas, não sou formalmente treinado em estatística. Na minha opinião, isso destrói completamente nossos dados e a regressão não faz sentido. Mas meu gerente diz que obtém "melhores regressões na maioria das vezes" quando faz isso (aqui "melhor" significa mais preditivo). Tenho a sensação de que ele está se enganando.

EDIT: Obrigado por todos os seus exemplos agradáveis ​​e pacientes. Mostrei a ele os exemplos de @ RUser4512 e @gung e ele permanece firme. Ele está ficando irritado e eu estou ficando exausta. Eu me sinto decepcionado. Provavelmente vou começar a procurar outros empregos em breve.

Não sei ao certo o que seu chefe acha "mais preditivo". Muitas pessoas acreditam incorretamente que valores mais baixos de significam um modelo melhor / mais preditivo. Isso não é necessariamente verdade (sendo esse o caso). No entanto, classificar independentemente as duas variáveis ​​de antemão garantirá um valor- menor . Por outro lado, podemos avaliar a precisão preditiva de um modelo comparando suas previsões com novos dados que foram gerados pelo mesmo processo. Eu faço isso abaixo em um exemplo simples (codificado com ). $p$$p$R

options(digits=3)                       # for cleaner output
set.seed(9149)                          # this makes the example exactly reproducible

B1 = .3
N  = 50                                 # 50 data
x  = rnorm(N, mean=0, sd=1)             # standard normal X
y  = 0 + B1*x + rnorm(N, mean=0, sd=1)  # cor(x, y) = .31
sx = sort(x)                            # sorted independently
sy = sort(y)
cor(x,y)    # [1] 0.309
cor(sx,sy)  # [1] 0.993

model.u = lm(y~x)
model.s = lm(sy~sx)
summary(model.u)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.021      0.139   0.151    0.881
# x              0.340      0.151   2.251    0.029  # significant
summary(model.s)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.162     0.0168    9.68 7.37e-13
# sx             1.094     0.0183   59.86 9.31e-47  # wildly significant

u.error = vector(length=N)              # these will hold the output
s.error = vector(length=N)
for(i in 1:N){
  new.x      = rnorm(1, mean=0, sd=1)   # data generated in exactly the same way
  new.y      = 0 + B1*x + rnorm(N, mean=0, sd=1)
  pred.u     = predict(model.u, newdata=data.frame(x=new.x))
  pred.s     = predict(model.s, newdata=data.frame(x=new.x))
  u.error[i] = abs(pred.u-new.y)        # these are the absolute values of
  s.error[i] = abs(pred.s-new.y)        #  the predictive errors
};  rm(i, new.x, new.y, pred.u, pred.s)
u.s = u.error-s.error                   # negative values means the original
                                        # yielded more accurate predictions
mean(u.error)  # [1] 1.1
mean(s.error)  # [1] 1.98
mean(u.s<0)    # [1] 0.68


windows()
  layout(matrix(1:4, nrow=2, byrow=TRUE))
  plot(x, y,   main="Original data")
  abline(model.u, col="blue")
  plot(sx, sy, main="Sorted data")
  abline(model.s, col="red")
  h.u = hist(u.error, breaks=10, plot=FALSE)
  h.s = hist(s.error, breaks=9,  plot=FALSE)
  plot(h.u, xlim=c(0,5), ylim=c(0,11), main="Histogram of prediction errors",
       xlab="Magnitude of prediction error", col=rgb(0,0,1,1/2))
  plot(h.s, col=rgb(1,0,0,1/4), add=TRUE)
  legend("topright", legend=c("original","sorted"), pch=15, 
         col=c(rgb(0,0,1,1/2),rgb(1,0,0,1/4)))
  dotchart(u.s, color=ifelse(u.s<0, "blue", "red"), lcolor="white",
           main="Difference between predictive errors")
  abline(v=0, col="gray")
  legend("topright", legend=c("u better", "s better"), pch=1, col=c("blue","red"))

O gráfico superior esquerdo mostra os dados originais. Existe alguma relação entre e (ou seja, a correlação é de cerca de .) O gráfico superior direito mostra a aparência dos dados após a classificação independente de ambas as variáveis. Você pode ver facilmente que a força da correlação aumentou substancialmente (agora é de cerca de ). No entanto, nas parcelas mais baixas, vemos que a distribuição dos erros preditivos está muito mais próxima de para o modelo treinado nos dados originais (não classificados). O erro preditivo médio absoluto para o modelo que usou os dados originais é , enquanto o erro preditivo médio absoluto para o modelo treinado nos dados classificados éy 0,31 0,99 0 1,1 1,98 y 68 $x$$y$$.31$$.99$$0$$1.1$$1.98$Quase duas vezes maior. Isso significa que as previsões do modelo de dados classificados estão muito mais longe dos valores corretos. A plotagem no quadrante inferior direito é uma plotagem de pontos. Ele exibe as diferenças entre o erro preditivo com os dados originais e com os dados classificados. Isso permite comparar as duas previsões correspondentes para cada nova observação simulada. Pontos azuis à esquerda são momentos em que os dados originais estavam mais próximos do novo valor e pontos vermelhos à direita são momentos em que os dados classificados produziram melhores previsões. Havia previsões mais precisas do modelo treinado nos dados originais em do tempo. $y$$68\%$

O grau em que a classificação causará esses problemas é uma função do relacionamento linear que existe em seus dados. Se a correlação entre e já fosse , a classificação não teria efeito e, portanto, não seria prejudicial. Por outro lado, se a correlação fossey 1,0 - $x$$y$$1.0$$-1.0$, a classificação reverteria completamente o relacionamento, tornando o modelo o mais impreciso possível. Se os dados fossem completamente não correlacionados originalmente, a classificação teria um efeito deletério intermediário, mas ainda bastante grande, na precisão preditiva do modelo resultante. Como você menciona que seus dados normalmente estão correlacionados, suspeito que tenha fornecido alguma proteção contra os danos intrínsecos a esse procedimento. No entanto, classificar primeiro é definitivamente prejudicial. Para explorar essas possibilidades, podemos simplesmente executar novamente o código acima com valores diferentes para B1(usando a mesma semente para reprodutibilidade) e examinar a saída:

1. B1 = -5:

   cor(x,y)                            # [1] -0.978
   summary(model.u)$coefficients[2,4]  # [1]  1.6e-34  # (i.e., the p-value)
   summary(model.s)$coefficients[2,4]  # [1]  1.82e-42
   mean(u.error)                       # [1]  7.27
   mean(s.error)                       # [1] 15.4
   mean(u.s<0)                         # [1]  0.98
   

2. B1 = 0:

   cor(x,y)                            # [1] 0.0385
   summary(model.u)$coefficients[2,4]  # [1] 0.791
   summary(model.s)$coefficients[2,4]  # [1] 4.42e-36
   mean(u.error)                       # [1] 0.908
   mean(s.error)                       # [1] 2.12
   mean(u.s<0)                         # [1] 0.82
   

3. B1 = 5:

   cor(x,y)                            # [1] 0.979
   summary(model.u)$coefficients[2,4]  # [1] 7.62e-35
   summary(model.s)$coefficients[2,4]  # [1] 3e-49
   mean(u.error)                       # [1] 7.55
   mean(s.error)                       # [1] 6.33
   mean(u.s<0)                         # [1] 0.44
   

Se você quiser convencer seu chefe, pode mostrar o que está acontecendo com dados simulados, aleatórios e independentes . Com R:$x,y$

n <- 1000

y<- runif(n)
x <- runif(n)

linearModel <- lm(y ~ x)


x_sorted <- sort(x)
y_sorted <- sort(y)

linearModel_sorted <- lm(y_sorted ~ x_sorted)

par(mfrow = c(2,1))
plot(x,y, main = "Random data")
abline(linearModel,col = "red")


plot(x_sorted,y_sorted, main = "Random, sorted data")
abline(linearModel_sorted,col = "red")

Obviamente, os resultados classificados oferecem uma regressão muito melhor. No entanto, dado o processo usado para gerar os dados (duas amostras independentes), não há absolutamente nenhuma chance de que um possa ser usado para prever o outro.

Sua intuição está correta: os dados classificados independentemente não têm significado confiável, porque as entradas e saídas estão sendo mapeadas aleatoriamente uma para a outra, e não como era o relacionamento observado.

Há uma (boa) chance de a regressão nos dados classificados parecer boa, mas não faz sentido no contexto.

Exemplo intuitivo: suponha um conjunto de dados para alguma população. O gráfico dos dados não adulterados provavelmente se pareceria com uma função logarítmica ou de poder: taxas de crescimento mais rápidas para crianças que desaceleram para adolescentes posteriores e "assintoticamente" se aproximam da altura máxima de uma pessoa para adultos jovens e mais velhos.$(X = age, Y = height)$

Se ordenarmos em ordem crescente, o gráfico provavelmente será quase linear. Assim, a função de previsão é que as pessoas cresçam mais altas por toda a vida. Eu não apostaria dinheiro nesse algoritmo de previsão. $x, y$

Na verdade, vamos tornar isso realmente óbvio e simples. Suponha que eu realize um experimento no qual meço 1 litro de água em um recipiente padronizado e observe a quantidade de água restante no recipiente em função do tempo , a perda de água devido à evaporação:t $V_i$$t_i$

Suponha agora que eu obtenho as seguintes medidas em horas e litros, respectivamente: Obviamente, esses são dados perfeitamente correlacionados (e hipotéticos). Mas se eu o tempo e as medidas de volume, obteria E a conclusão desse conjunto de dados classificados é que, à medida que o tempo aumenta, o volume de água aumenta e, além disso, a partir de 1 litro de água, você recebe, após 5 horas de espera, mais de 1 litro de água. Isso não é notável? A conclusão não é apenas oposta ao que os dados originais disseram, mas também sugere que descobrimos uma nova física! $(t_i, V_i)$

É uma arte real e requer uma compreensão real da psicologia para convencer algumas pessoas do erro de seus caminhos. Além de todos os excelentes exemplos acima, às vezes uma estratégia útil é mostrar que a crença de uma pessoa leva a uma inconsistência consigo mesma. Ou tente essa abordagem. Descubra algo em que seu chefe acredita firmemente, como o desempenho das pessoas na tarefa Y não tem relação com o quanto de um atributo X elas possuem. Mostre como a abordagem do seu chefe resultaria na conclusão de uma forte associação entre X e Y. Capitalize em crenças políticas / raciais / religiosas.

A invalidez do rosto deveria ter sido suficiente. Que chefe teimoso. Enquanto isso, procure um emprego melhor. Boa sorte.

Mais um exemplo. Imagine que você tem duas variáveis, uma relacionada à ingestão de chocolate e a segunda relacionada ao bem-estar geral. Você tem uma amostra de dois e seus dados são exibidos abaixo:

Qual é a relação de chocolate e felicidade com base na sua amostra? E agora, mude a ordem de uma das colunas - qual é a relação após esta operação?

$t$$N$$t$

$i$$X$$i$$Y$

Observe que, às vezes, na verdade, estamos interessados ​​em alterar a ordem dos casos, fazemos isso nos métodos de reamostragem . Por exemplo, podemos embaralhar intencionalmente as observações várias vezes, para aprender algo sobre a distribuição nula de nossos dados (como seriam nossos dados se não houvesse relações de pares) e, em seguida, poderemos comparar se nossos dados reais são melhores do que os aleatoriamente baralhado. O que seu gerente faz é exatamente o contrário - ele intencionalmente força as observações a terem estrutura artificial onde não havia estrutura, o que leva a correlações falsas.

Um exemplo simples que talvez seu gerente entenda:

Digamos que você tenha a Moeda Y e a Moeda X, e você vira cada uma delas 100 vezes. Então você deseja prever se conseguir uma cara com a Coin X (IV) pode aumentar a chance de ter uma cara com a Coin Y (DV).

Sem classificação, o relacionamento será nenhum, porque o resultado da Moeda X não deve afetar o resultado da Moeda Y. Com a classificação, o relacionamento será quase perfeito.

Como faz sentido concluir que você tem uma boa chance de jogar uma moeda no flip se você acabou de jogar uma moeda com uma moeda diferente?

Essa técnica é realmente incrível. Estou encontrando todo tipo de relacionamento que nunca suspeitei. Por exemplo, eu não teria suspeitado que os números que aparecem na loteria Powerball, que são REIVINDICADOS, são aleatórios, na verdade estão altamente correlacionados com o preço de abertura das ações da Apple no mesmo dia! Pessoal, acho que estamos prestes a ganhar muito dinheiro. :)

> powerball_last_number = scan()
1: 69 66 64 53 65 68 63 64 57 69 40 68
13: 
Read 12 items
> #Nov. 18, 14, 11, 7, 4
> #Oct. 31, 28, 24, 21, 17, 14, 10
> #These are powerball dates.  Stock opening prices 
> #are on same or preceding day.
> 
> appl_stock_open = scan()
1: 115.76  115.20 116.26  121.11  123.13 
6: 120.99  116.93  116.70  114.00  111.78
11: 111.29  110.00
13: 
Read 12 items
> hold = lm(appl_stock_open ~ powerball_last_number)
> summary(hold)


Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)           112.08555    9.45628  11.853 3.28e-07 ***
powerball_last_number   0.06451    0.15083   0.428    0.678    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 4.249 on 10 degrees of freedom
Multiple R-squared:  0.01796,   Adjusted R-squared:  -0.08024 
F-statistic: 0.1829 on 1 and 10 DF,  p-value: 0.6779

Hmm, parece não ter um relacionamento significativo. MAS usando a nova técnica aprimorada:

> 
> vastly_improved_regression = lm(sort(appl_stock_open)~sort(powerball_last_number))
> summary(vastly_improved_regression)

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 91.34418    5.36136  17.038 1.02e-08 ***
sort(powerball_last_number)  0.39815    0.08551   4.656    9e-04 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.409 on 10 degrees of freedom
Multiple R-squared:  0.6843,    Adjusted R-squared:  0.6528 
F-statistic: 21.68 on 1 and 10 DF,  p-value: 0.0008998

NOTA: Isso não pretende ser uma análise séria. Apenas mostre ao seu gerente que eles podem tornar QUALQUER duas variáveis ​​significativamente relacionadas se você classificar as duas.

Muitos bons exemplos de contadores aqui. Deixe-me adicionar um parágrafo sobre o coração do problema.

$X_i$$Y_i$$X$$Y$$i$$i$$X_1$$Y_1$$X_2$$Y_2$$X$$Y$$X_1$$Y_1$$X_1$$Y_1$

Na verdade, deixe-me adicionar um parágrafo sobre por que "funciona" também.

$X_a$$X_b$$X_a$$X$$Y_a$$X_z$$X$$Y_z$$Y$$X_a$$Y_a$$X_z$$Y_z$$X_1$$Y_1$

Na verdade, o teste descrito (ou seja, classificar os valores X e Y independentemente e regredir um contra o outro) Testa alguma coisa, assumindo que o (X, Y) seja amostrado como pares independentes de uma distribuição bivariada. Simplesmente não é um teste do que seu gerente deseja testar. É essencialmente verificar a linearidade de um gráfico QQ, comparando a distribuição marginal dos Xs com a distribuição marginal dos Ys. Em particular, os 'dados' cairão perto de uma linha reta se a densidade dos Xs (f (x)) estiver relacionada à densidade dos Ys (g (y)) desta maneira:

$f(x) = g((y-a)/b)$$a$$b>0$

Estranho que o contra-exemplo mais óbvio ainda não esteja presente entre as respostas em sua forma mais simples.

$Y = -X$

$\hat Y \approx X$

Este é um tipo de "inverso direto" do padrão que você pode querer encontrar aqui.

Você está certo. Seu gerente encontraria resultados "bons"! Mas eles não têm sentido. O que você obtém ao classificá-los de forma independente é que os dois aumentam ou diminuem de maneira semelhante e isso dá uma aparência de um bom modelo. Mas as duas variáveis ​​foram retiradas do relacionamento real e o modelo está incorreto.

$x \sim x^2$$x$$x^2$$x$

A regressão linear é geralmente menos razoável (existem exceções, veja outras respostas); mas a geometria das caudas e da distribuição dos erros indica a que distância estão as distribuições semelhantes.

Eu tenho uma intuição simples por que isso é realmente uma boa idéia se a função é monótona :

$x_1, x_2,\cdots, x_n$$x_i<x_{i+1}$$f:\Re\mapsto\Re$$y_i = f(x_i) + \varepsilon_i$$\varepsilon_i$

$f$

$\varepsilon_i$

PS: Acho incrível como uma pergunta aparentemente simples pode levar a novas maneiras interessantes de repensar o modelo de padrões. Por favor, obrigado chefe!

Digamos que você tenha esses pontos em um círculo de raio 5. Você calcula a correlação:

import pandas as pd
s1 = [(-5, 0), (-4, -3), (-4, 3), (-3, -4), (-3, 4), (0, 5), (0, -5), (3, -4), (3, 4), (4, -3), (4, 3), (5, 0)]
df1 = pd.DataFrame(s1, columns=["x", "y"])
print(df1.corr())

   x  y
x  1  0
y  0  1

Depois, você classifica seus valores xe y e faz a correlação novamente:

s2 = [(-5, -5), (-4, -4), (-4, -4), (-3, -3), (-3, -3), (0, 0), (0, 0), (3, 3), (3, 3), (4, 4), (4, 4), (5, 5)]
df2 = pd.DataFrame(s2, columns=["x", "y"])
print(df2.corr())

   x  y
x  1  1
y  1  1

Com essa manipulação, você altera um conjunto de dados com correlação 0,0 para um com correlação 1,0. Isso é um problema.

Deixe-me jogar o advogado do diabo aqui. Eu acho que muitas respostas fizeram casos convincentes de que o procedimento do chefe está fundamentalmente errado. Ao mesmo tempo, ofereço um contra-exemplo que ilustra que o chefe pode realmente ter visto resultados melhorar com essa transformação equivocada.

Penso que o reconhecimento de que esse procedimento pode ter "funcionado" para o chefe pode começar um argumento mais persuasivo: Claro, funcionou, mas apenas nessas circunstâncias de sorte que geralmente não se mantêm. Então podemos mostrar - como na excelente resposta aceita - quão ruim pode ser quando não temos sorte. Qual é a maior parte do tempo. Isoladamente, mostrar ao chefe o quão ruim pode ser pode não convencê-lo, porque ele pode ter visto um caso em que isso melhora as coisas e acha que nosso argumento sofisticado deve ter uma falha em algum lugar.

Encontrei esses dados on-line e, com certeza, parece que a regressão é aprimorada pela classificação independente de X e Y porque: a) os dados estão altamente correlacionados positivamente eb) OLS realmente não se dá bem com extrema (alta outliers). A altura e o peso têm uma correlação de 0,19 com o outlier incluído, 0,77 com o outlier excluído e 0,78 com o X e Y classificados independentemente.

x <- read.csv ("https://vincentarelbundock.github.io/Rdatasets/csv/car/Davis.csv", header=TRUE)

plot (weight ~ height, data=x)

lm1 <- lm (weight ~ height, data=x)

xx <- x
xx$weight <- sort (xx$weight)
xx$height <- sort (xx$height)

plot (weight ~ height, data=xx)

lm2 <- lm (weight ~ height, data=xx)

plot (weight ~ height, data=x)
abline (lm1)
abline (lm2, col="red")

plot (x$height, x$weight)
points (xx$height, xx$weight, col="red")

Portanto, parece-me que o modelo de regressão neste conjunto de dados é aprimorado pela classificação independente (linha preta versus linha vermelha no primeiro gráfico), e há uma relação visível (preto versus vermelho no segundo gráfico), devido ao conjunto de dados específico estar altamente (positivamente) correlacionado e com o tipo certo de discrepâncias que prejudicam mais a regressão do que o embaralhamento que ocorre quando você classifica independentemente x e y.

Novamente, não dizer que a classificação independente faz algo sensato em geral, nem que seja a resposta correta aqui. Só que o chefe pode ter visto algo assim que funcionou exatamente nas circunstâncias certas.

Se ele selecionou previamente as variáveis ​​para serem monótonas, na verdade é bastante robusto. Google "modelos lineares impróprios" e "Robin Dawes" ou "Howard Wainer". Dawes e Wainer conversam sobre maneiras alternativas de escolher coeficientes. John Cook tem uma coluna curta ( http://www.johndcook.com/blog/2013/03/05/robustness-of-equal-weights/ ) nela.

Eu pensei sobre isso, e pensei que há alguma estrutura aqui com base nas estatísticas da ordem. Eu verifiquei, e parece que o gerente não é tão louco quanto parece

Coeficiente de correlação de estatísticas de pedidos como uma nova medição de associação com aplicativos para análise de biossinal

http://www.researchgate.net/profile/Weichao_Xu/publication/3320558_Order_Statistics_Correlation_Coefficient_as_a_Novel_Association_Measurement_With_Applications_to_Biosignal_Analysis/links/0912f507ed6f94a3c6000000.pdf

Propomos um novo coeficiente de correlação baseado em estatísticas de ordem e desigualdade de rearranjo. O coeficiente proposto representa um compromisso entre o coeficiente linear de Pearson e os dois coeficientes baseados em classificação, nomeadamente o rho de Spearman e o tau de Kendall. Derivações teóricas mostram que nosso coeficiente possui as mesmas propriedades básicas que os três coeficientes clássicos. Estudos experimentais baseados em quatro modelos e seis biossinais mostram que nosso coeficiente apresenta desempenho melhor que os dois coeficientes baseados em classificação ao medir associações lineares; enquanto é capaz de detectar associações não lineares monótonas, como os dois coeficientes baseados em classificação. Análises estatísticas extensas também sugerem que nosso novo coeficiente possui robustez anti-ruído superior, pequeno viés,