Quais algoritmos precisam de redimensionamento de recursos, além do SVM?

17

Estou trabalhando com muitos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Todos eles foram bem rápidos, exceto o SVM. Foi quando soube que ele precisa de redimensionamento de recursos para funcionar mais rapidamente. Então comecei a me perguntar se eu deveria fazer o mesmo com os outros algoritmos.

machine-learning svm random-forest naive-bayes xgboost Aizzaac
fonte

Relacionado: Como e por que a normalização e o dimensionamento de recursos funcionam?

Franck Dernoncourt

Além disso: as variáveis são frequentemente ajustadas (por exemplo, padronizadas) antes de criar um modelo - quando é uma boa ideia e quando é ruim?

Franck Dernoncourt

21

Em geral, algoritmos que exploram distâncias ou similaridades (por exemplo, na forma de produto escalar) entre amostras de dados, como k-NN e SVM, são sensíveis a transformações de recursos.

Classificadores baseados em modelo gráfico, como Fisher LDA ou Naive Bayes, bem como árvores de decisão e métodos de conjunto baseado em árvore (RF, XGB) são invariantes ao dimensionamento de recursos, mas ainda assim pode ser uma boa ideia redimensionar / padronizar seus dados .

grito
fonte

3

+1. Observe que o XGBoost também implementa um segundo algoritmo, com base no aumento linear. A escala fará a diferença lá.

usεr11852 diz Reinstate Monic

1

Você poderia elaborar mais sobre o redimensionamento / padronização de dados para RF e XGB? Não vejo como isso pode influenciar a qualidade do modelo.

Tomek Tarczynski

17

Aqui está uma lista que encontrei em http://www.dataschool.io/comparing-supervised-learning-algorithms/ indicando qual classificador precisa de dimensionamento de recursos :

Tabela completa:

No cluster k-means, você também precisa normalizar sua entrada .

Além de considerar se o classificador explora distâncias ou semelhanças como Yell Bond mencionou, a Descentralização Estocástica de Gradiente também é sensível ao dimensionamento de recursos (uma vez que a taxa de aprendizado na equação de atualização da Descentração Estocástica de Gradiente é a mesma para todos os parâmetros {1}):

Referências:

{1} Elkan, Charles. "Modelos log-lineares e campos aleatórios condicionais." Notas do tutorial no CIKM 8 (2008). https://scholar.google.com/scholar?cluster=5802800304608191219&hl=pt_BR&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

Franck Dernoncourt
fonte

O que falta nesta resposta é alguma explicação do porquê !! Veja minha resposta para isso.

Kjetil b halvorsen

2

@kjetilbhalvorsen bem eu expliquei para k-means e SGD, mas existem muitos outros algoritmos e modelos. Há um limite de 30k-char na pilha troca :)

Franck Dernoncourt

Algo relacionado: stats.stackexchange.com/questions/231285/...

b Kjetil Halvorsen

@FranckDernoncourt Posso fazer uma pergunta com base nisso? Eu tenho um conjunto de dados de dados categóricos e contínuos, para o qual estou construindo um SVM. Os dados contínuos são altamente inclinados (cauda longa). Para transformação contínua, devo fazer um log transformation / Box-Coxe depois também normalise the resultant data to get limits between 0 and 1? Então, eu vou estar normalizando os valores do log. Então calcule o SVM nos dados contínuos e categóricos (0-1) juntos? Felicidades por qualquer ajuda que você possa fornecer.

Chuck

7

Y_{i} = β_{0} + β_{1} x_{i} + β_{2} z_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$

i = 1, \dots, n

$i=1, \dots, n$

x_{i}^{*} = (x_{i} - \bar{x}) / sd (x) z_{i}^{*} = (z_{i} - \bar{z}) / sd (z)

$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$

Y_{i} = β_{0}^{*} + β_{1}^{*} x_{i}^{*} + β_{2}^{*} z_{i}^{*} + ϵ_{i}

$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$

β_{1, 2}^{*}

$\beta_{1,2}^*$

{\hat{β}}_{1, 2}

$\hat{\beta}_{1,2}$

β_{0} = β_{0}^{*} - \frac{β_{1}^{*} \bar{x}}{sd(x)} - \frac{β_{2}^{*} \bar{z}}{sd(z)}, β_{1} = \frac{β_{1}^{*}}{sd(x)}, β_{2} = \frac{β_{2}^{*}}{sd(z)}

$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$

E essa discussão para o caso de regressão linear diz o que você deve cuidar em outros casos: existe invariância ou não? Geralmente, métodos que dependem de medidas de distância entre os preditores não apresentam invariância , portanto a padronização é importante. Outro exemplo será o agrupamento.

kjetil b halvorsen
fonte

1

Você pode mostrar explicitamente como um calcula um conjunto de betas do outro neste exemplo específico de dimensionamento que você aplicou?

precisa saber é o seguinte

@kjetil Posso fazer uma pergunta com base nisso? Eu tenho um conjunto de dados de dados categóricos e contínuos, para o qual estou construindo um SVM. Os dados contínuos são altamente inclinados (cauda longa). Para transformação contínua, devo fazer uma transformação de log / Box-Cox e também normalizar os dados resultantes para obter limites entre 0 e 1? Então, eu vou estar normalizando os valores do log. Então calcule o SVM nos dados contínuos e categóricos (0-1) juntos? Felicidades para qualquer ajuda que você pode fornecer

Chuck

1

Você pode adicionar isso como uma nova pergunta? com referência de volta aqui!

Kjetil b halvorsen

Quais algoritmos precisam de redimensionamento de recursos, além do SVM?

Respostas: