Codificação one-hot vs dummy no Scikit-learn

Existem duas maneiras diferentes de codificar variáveis ​​categóricas. Digamos, uma variável categórica tem n valores. A codificação one-hot converte-a em n variáveis, enquanto a codificação fictícia converte-a em n-1 variáveis. Se tivermos k variáveis ​​categóricas, cada uma com n valores. Uma codificação quente termina com variáveis kn , enquanto a codificação fictícia termina com variáveis kn-k .

Ouvi dizer que, para codificação one-hot, a interceptação pode levar a um problema de colinearidade, o que faz o modelo não parecer. Alguém chama isso de " armadilha variável fictícia ".

Minhas perguntas:

1. O modelo de regressão linear do Scikit-learn permite que os usuários desativem a interceptação. Portanto, para a codificação one-hot, devo sempre definir fit_intercept = False? Para codificação fictícia, fit_intercept sempre deve ser definido como True? Não vejo nenhum "aviso" no site.

2. Como a codificação one-hot gera mais variáveis, ela tem mais grau de liberdade do que a codificação fictícia?

O modelo de regressão linear do Scikit-learn permite que os usuários desativem a interceptação. Portanto, para a codificação one-hot, devo sempre definir fit_intercept = False? Para codificação fictícia, fit_intercept sempre deve ser definido como True? Não vejo nenhum "aviso" no site.

Para um modelo linear não regulamentado com codificação one-hot, sim, você precisa definir a interceptação como falsa ou incorrer em colinearidade perfeita. sklearntambém permite uma penalidade de encolhimento da cordilheira e, nesse caso, não é necessário; na verdade, você deve incluir a interceptação e todos os níveis. Para codificação dummy, você deve incluir uma interceptação, a menos que padronize todas as suas variáveis; nesse caso, a interceptação é zero.

Como a codificação one-hot gera mais variáveis, ela tem mais grau de liberdade do que a codificação fictícia?

A interceptação é um grau adicional de liberdade; portanto, em um modelo bem especificado, tudo se iguala.

Para o segundo, e se houver k variáveis ​​categóricas? As variáveis ​​k são removidas na codificação fictícia. O grau de liberdade ainda é o mesmo?

Não foi possível ajustar um modelo no qual você usou todos os níveis de ambas as variáveis ​​categóricas, interceptadas ou não. Pois, assim que você codificar todos os níveis em uma variável no modelo, digamos com variáveis ​​binárias , você terá uma combinação linear de preditores igual ao vetor constante$x_1, x_2, \ldots, x_n$

Se você tentar inserir todos os níveis de outro categórico no modelo, você terá uma combinação linear distinta igual a um vetor constante$x'$

e assim você criou uma dependência linear

Portanto, você deve deixar de fora um nível na segunda variável, e tudo se alinha adequadamente.

Digamos, eu tenho 3 variáveis ​​categóricas, cada uma com 4 níveis. Na codificação fictícia, 3 * 4-3 = 9 variáveis ​​são construídas com uma interceptação. Na codificação one-hot, 3 * 4 = 12 variáveis ​​são criadas sem interceptação. Estou correcto?

A segunda coisa realmente não funciona. A matriz de design da coluna criada por você será singular. Você precisa remover três colunas, uma de cada uma das três codificações categóricas distintas, para recuperar a não singularidade do seu design.$3 \times 4 = 12$