Variáveis ​​colineares no treinamento Multiclass LDA

16

Estou treinando um classificador LDA de várias classes com 8 classes de dados.

Durante a execução do treinamento, recebo um aviso de: "As variáveis ​​são colineares "

Estou recebendo uma precisão de treinamento de mais de 90% .

Estou usando a biblioteca scikits-learn no Python para treinar e testar os dados de várias classes.

Também recebo uma precisão decente nos testes (cerca de 85% -95% ).

Não entendo o significado do erro / aviso. Por favor, me ajude.

garak
fonte

Respostas:

29

Multicolinearidade significa que seus preditores estão correlacionados. Por que isso é ruim?

Como o LDA, como as técnicas de regressão, envolve calcular uma inversão da matriz, que é imprecisa se o determinante for próximo de 0 ( ou seja, duas ou mais variáveis ​​são quase uma combinação linear entre si).

Mais importante, torna impossível a interpretação dos coeficientes estimados. Se um aumento de , por exemplo, está associada a uma diminuição da X 2 e ambos aumento variável Y , cada mudança em X 1 será compensada por uma mudança na X 2 e você vai subestimar o efeito de X 1 em Y . No LDA, você subestimaria o efeito de X 1 na classificação.X1X2YX1X2X1YX1

Se tudo o que você importa é a classificação em si , e depois de treinar seu modelo com metade dos dados e testá-lo na outra metade, você obtém uma precisão de 85 a 95%, eu diria que está bem.

gui11aume
fonte
Então, posso interpretar isso como um recurso X1 no vetor de recursos não é uma boa escolha, caso a precisão do teste seja baixa?
Garak
1
Eu acho que se a precisão dos testes for baixa, não há uma boa escolha.
Gui11aume
O interessante é que estou tendo esse problema com o LDA, mas não quando uso o QDA. Eu me pergunto o que há de diferente lá dentro?
Garak # 30/12
1
+1 para a resposta, mas "calcular uma inversão de matriz" pode não ser preciso. Nós nunca o computamos explicitamente, métodos diretos como LU, QR ou métodos iterativos são usados.
Haitao Du
@ hxd1011 Correto! Para o registro, você poderia dar algumas palavras sobre o que acontece no LU / QR etc., quando a matriz é "quase singular", ou talvez apontar para um documento que o explique?
precisa saber é o seguinte
12

As I seem to think gui11aume has given you a great answer, I want to give an example from a slightly different angle that might be illuminating. Consider that a covariate in your discriminant function looks as follows:

X1=5X2+3X3X4.

Suppose the best LDA has the following linear boundary:

X1+2X2+X32X4=5

Then we can substitute 5X2+3X3X4 for X1 n the LDA boundary equation, so:

5X2+3X3X4+2X2+X32X4=5

or

7X2+4X33X4=5.

These two boundaries are identical but the first one has coefficients 1,2,1,2 for X1, X2, X3, and X4 respectively, while the other has coefficients 0,7,3,1.

So the coefficient are quite different but the two equations give the same boundary and identical prediction rule. If one form is good the other is also. But now you can see why gui11ame says the coefficients are uninterpretable.

There are several other ways to express this boundary as well by substituting for X2 to give it the 0 coefficient and the same could be done for X3 or X4. But in practice the collinearity is approximate. This makes things worse because the noise allows for a unique answer. Very slight perturbations of the data will cause the coefficients to change drastically. But for prediction you are okay because each equation defines almost the same boundary and so LDA will result in nearly identical predictions.

Michael R. Chernick
fonte
1

While the answer that was marked here is correct, I think you were looking for a different explanation to find out what happened in your code. I had the exact same issue running through a model.

Here's whats going on: You're training your model with the predicted variable as part of your data set. Here's an example of what was occurring to me without even noticing it:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns[:-1]]

In this code, I want to predict the value of 'COL3'... but, if you look at train_X, I'm telling it to retrieve every column except the last one, so its inputting COL1 COL2 and COL3, not COL4, and trying to predict COL3 which is part of train_X.

I corrected this by just moving the columns, manually moved COL3 in Excel to be the last column in my data set (now taking place of COL4), and then:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL4']
train_X = train[train.columns[:-1]]

If you don't want to move it in Excel, and want to just do it by code then:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns['COL1','COL2','COL4']]

Note now how I declared train_X, to include all columns except COL3, which is part of train_Y.

I hope that helps.

nukalov
fonte