Um algoritmo de aumento popular e biblioteca de software (significa "reforço de gradiente extremo"). Boosting combina modelos fracamente preditivos em um modelo fortemente preditivo.
Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do...
Existem várias implementações da família de modelos GBDT, como: GBM XGBoost LightGBM Catboost. Quais são as diferenças matemáticas entre essas diferentes implementações? O Catboost parece ter um desempenho superior às outras implementações, mesmo usando apenas seus parâmetros padrão de acordo...
Como exemplo, assumir a função objetivo do modelo XGBoost no 'th iteração:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) onde é a função de perda, é o 'th saída de árvore e é a...
Eu tenho um conjunto de dados muito desequilibrado. Estou tentando seguir o conselho de ajuste e o uso, scale_pos_weightmas não tenho certeza de como devo ajustá-lo. Eu posso ver que RegLossObj.GetGradientsim: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight portanto, um gradiente de...
A definição do parâmetro min_child_weight no xgboost é fornecida como: soma mínima do peso da instância (hessian) necessária em uma criança. Se a etapa de partição em árvore resultar em um nó folha com a soma do peso da instância menor que min_child_weight, o processo de criação desistirá de...
Estou tentando entender como o XGBoost funciona. Eu já entendo como as árvores com gradiente aumentado funcionam no sklearn do Python. O que não está claro para mim é se o XGBoost funciona da mesma maneira, mas mais rápido, ou se existem diferenças fundamentais entre ele e a implementação do...
Existem muitas postagens de blog, vídeos do YouTube etc. sobre as idéias de empacotar ou aumentar árvores. Meu entendimento geral é que o pseudo-código para cada um é: Ensacamento: Coletar N amostras aleatórias de x% das amostras e% de recursos Ajuste seu modelo (por exemplo, árvore de decisão)...
Estou trabalhando com muitos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Todos eles foram bem rápidos, exceto o SVM. Foi quando soube que ele precisa de redimensionamento de recursos para funcionar mais rapidamente. Então comecei a me...
Digamos que temos um problema de classificação binária com recursos principalmente categóricos. Usamos algum modelo não linear (por exemplo, XGBoost ou Random Forests) para aprendê-lo. Ainda se deve preocupar com a multicolinearidade? Por quê? Se a resposta acima for verdadeira, como combatê-la,...
Recentemente, analisei o algoritmo XGBoost e notei que esse algoritmo pode manipular dados ausentes (sem exigir imputação) na fase de treinamento. Eu queria saber se o XGboost pode lidar com dados ausentes (sem exigir imputação) quando é usado para prever novas observações ou é necessário...
Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de...
Não consigo entender completamente como esse parâmetro funciona a partir da descrição na documentação [max_delta_step [padrão = 0]] Etapa delta máxima que permitimos que a estimativa de peso de cada árvore seja. Se o valor estiver definido como 0, significa que não há restrição. Se estiver...
Eu sei como implementar a função objetivo linear e os reforços lineares no XGBoost. Minha pergunta concreta é: quando o algoritmo se encaixa no residual (ou no gradiente negativo) ele está usando um recurso em cada etapa (ou seja, modelo univariado) ou todos os recursos (modelo...
especialistas! Talvez você saiba como calcular o intervalo de confiança para xgboost? A fórmula clássica com distribuição t não pode ajudar, porque meus dados não são normalmente distribuídos. Ou não importa? Se você sugerir alguma literatura, será muito útil, mas as abordagens em R e Python (no...
Eu estava tentando modelar uma variável dependente de contagem com exposição desigual. Glms clássicos usariam log (exposição) como deslocamento, também o gbm, mas o xgboost não permite o deslocamento até agora ... Tentando encontrar uma desvantagem neste exemplo em validação cruzada ( onde o...
Gostaria de saber qual é a expressão de desvio na regressão de Poisson usando a xgboostferramenta (aumento extremo do gradiente). De acordo com o código fonte, a função de avaliação é: struct EvalPoissonNegLogLik : public EvalEWiseBase { const char *Name() const override { return...
Digamos que você treine dois modelos diferentes do Gradient Boosting Classifier em dois conjuntos de dados diferentes. Você usa a validação cruzada de exclusão única e plota os histogramas de previsões que os dois modelos produzem. Os histogramas são assim: e isto: Portanto, em um caso, as...