À medida que descubro o aprendizado de máquina, vejo diferentes técnicas interessantes, como: ajustar algoritmos automaticamente com técnicas como grid search, obtenha resultados mais precisos através da combinação de algoritmos diferentes do mesmo "tipo", ou seja boosting, obtenha resultados...
Eu faria uma pergunta relacionada a este . Encontrei um exemplo de como escrever a função de perda personalizada para o xgboost aqui : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
Encontrei muitos artigos que afirmam que os métodos de aumento são sensíveis a valores discrepantes, mas nenhum artigo explica o porquê. Na minha experiência, os valores extremos são ruins para qualquer algoritmo de aprendizado de máquina, mas por que os métodos de aumento são particularmente...
Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de...
Existe uma maneira de obter uma pontuação de confiança (também podemos chamar de valor ou probabilidade de confiança) para cada valor previsto ao usar algoritmos como Florestas Aleatórias ou Extreme Gradient Boosting (XGBoost)? Digamos que essa pontuação de confiança varie de 0 a 1 e mostre quão...
Esta é a função de perda de desvio binomial do scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y...
Quero implementar o Adaboost usando o Decision Stump. É correto tomar tantas decisões quanto os recursos do nosso conjunto de dados em cada iteração do Adaboost? Por exemplo, se eu tiver um conjunto de dados com 24 recursos, devo ter 24 classificadores de stump de decisão em cada iteração? Ou devo...
Eu sei que o Adaboost tenta gerar um classificador forte usando uma combinação linear de um conjunto de classificadores fracos. No entanto, li alguns artigos sugerindo que o Adaboost e os SVMs trabalham em harmonia (embora o SVM seja um classificador forte) em determinadas condições e casos . Não...
Na seção 7 do artigo Random Forests (Breiman, 1999), o autor afirma a seguinte conjectura: "Adaboost é uma floresta aleatória". Alguém já provou ou refutou isso? O que foi feito para provar ou refutar este post de
Eu tenho lido um pouco sobre o aumento de algoritmos para tarefas de classificação e o Adaboost em particular. Entendo que o objetivo do Adaboost é levar vários "alunos fracos" e, por meio de um conjunto de iterações sobre dados de treinamento, forçar os classificadores a aprender a prever as...
Para um exemplo simples, assuma que existem dois modelos de regressão linear Modelo 1 tem três preditores, x1a, x2b, ex2c O modelo 2 possui três preditores do modelo 1 e dois preditores adicionais x2aex2b Existe uma equação de regressão populacional em que a variação populacional explicada é...
O aumento da árvore de gradiente, conforme proposto por Friedman, usa as árvores de decisão com Jnós terminais (= folhas) como aprendizes base. Existem várias maneiras de cultivar uma árvore com exatamente Jnós, por exemplo, é possível cultivá-la em profundidade primeiro ou em primeiro lugar,...
Pesquisando sobre o algoritmo xgboost, examinei a documentação . Nesta abordagem, as árvores são regularizadas usando a definição de complexidade que e são parâmetros, é o número de folhas terminais e é a pontuação em cada folha. γλTwjΩ ( f) = γT+ 12λ ∑j = 1TW2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) =...
Questões: Qual é a diferença (ões) entre árvores de regressão reforçada (BRT) e modelos impulsionados generalizados (GBM)? Eles podem ser usados de forma intercambiável? Uma é uma forma específica da outra? Por que Ridgeway usou a frase "Generalized Boosted Regression Models" (GBM), para...
Estou participando de uma competição no momento. Sei que é meu trabalho fazer isso bem, mas talvez alguém queira discutir meu problema e sua solução aqui, pois isso também pode ser útil para outras pessoas em seu campo. Treinei um modelo xgboost (um modelo baseado em árvore e um linear e um...
Na Floresta Aleatória, cada árvore é cultivada em paralelo em uma amostra exclusiva dos dados. Como se espera que cada amostra do boostrap contenha cerca de 63% das observações exclusivas, isso deixa cerca de 37% das observações de fora, que podem ser usadas para testar a árvore. Agora, parece que...
Eu sei como implementar a função objetivo linear e os reforços lineares no XGBoost. Minha pergunta concreta é: quando o algoritmo se encaixa no residual (ou no gradiente negativo) ele está usando um recurso em cada etapa (ou seja, modelo univariado) ou todos os recursos (modelo...
Percebo que existem 3 parâmetros de ajuste no modelo de árvores de reforço, ou seja, o número de árvores (número de iterações) parâmetro de encolhimento número de divisões (tamanho de cada árvore constituinte) Minha pergunta é: para cada um dos parâmetros de ajuste, como devo encontrar seu...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
Para modelos lineares (como regressão linear, regressão logística, etc.), a engenharia de recursos é uma etapa importante para melhorar o desempenho dos modelos. Minha pergunta é: importa se realizamos alguma engenharia de recursos ao usar floresta aleatória ou aumento de gradiente? Concedido que...