Pesquisando sobre o algoritmo xgboost, examinei a documentação . Nesta abordagem, as árvores são regularizadas usando a definição de complexidade que e são parâmetros, é o número de folhas terminais e é a pontuação em cada folha. γλTwjΩ ( f) = γT+ 12λ ∑j = 1TW2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) =...
Eu tenho um modelo de regressão simples ( y = param1 * x1 + param2 * x2 ). Quando ajusto o modelo aos meus dados, encontro duas boas soluções: A solução A, parâmetros = (2,7), é melhor no conjunto de treinamento com RMSE = 2,5 MAS! Parâmetros da solução B = (24,20) ganha muito no conjunto de...
Entendo que o abandono é usado para reduzir o excesso de adaptação na rede. Esta é uma técnica de generalização. Na rede neural convolucional, como posso identificar o sobreajuste? Uma situação em que consigo pensar é quando obtenho uma precisão de treinamento muito alta em comparação à precisão...
Eu tenho alguns modelos preditivos cujo desempenho eu gostaria de testar novamente (ou seja, levar meu conjunto de dados, "rebobinar" para um ponto anterior no tempo e ver como o modelo teria um desempenho prospectivo). O problema é que alguns dos meus modelos foram criados através de um processo...
Estou participando de uma competição no momento. Sei que é meu trabalho fazer isso bem, mas talvez alguém queira discutir meu problema e sua solução aqui, pois isso também pode ser útil para outras pessoas em seu campo. Treinei um modelo xgboost (um modelo baseado em árvore e um linear e um...
Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador...
Nos estudos de psicologia, aprendi que deveríamos usar o método de Bonferroni para ajustar o nível de significância ao testar várias hipóteses em um único conjunto de dados. Atualmente, estou trabalhando com métodos de aprendizado de máquina, como Support Vector Machines ou Random Forest para...
Aprendi que o ajuste excessivo pode ser detectado plotando o erro de treinamento e o erro de teste versus as épocas. Como em: Eu estive lendo este post do blog onde eles dizem que a rede neural, net5 é excessiva e eles fornecem esta figura: O que é estranho para mim, já que o erro de...
Meu projeto atual pode exigir que eu construa um modelo para prever o comportamento de um determinado grupo de pessoas. o conjunto de dados de treinamento contém apenas 6 variáveis (id é apenas para fins de identificação): id, age, income, gender, job category, monthly spend em que monthly...
Atualmente, estou usando a parada antecipada no meu trabalho para evitar o excesso de ajuste. Especificamente, aqueles tomados em forma de parada antecipada, mas quando? . Agora estou querendo comparar com outros algoritmos de classificação, onde parece que a validação cruzada de 10 vezes é...
Eu tenho uma rede neural (camada única feed-forward) com a qual tento prever uma variável relacionada ao ambiente a partir de duas variáveis financeiras (regressão). Eu uso a função "train" do pacote de intercalação. Eu uso o nnet()algoritmo no pacote de sinal de intercalação. Eu tenho dois...
Estou treinando uma rede neural para classificação de áudio. Eu o treinei no conjunto de dados UrbanSound8K (Modelo1) e depois quis avaliar como diferentes níveis de ruído adicionado às entradas influenciavam a precisão da previsão. Precisão da linha de base Modelo1 = 65% Como esperado, níveis...
Faria sentido exagerar um modelo de propósito? Digamos que eu tenha um caso de uso em que eu saiba que os dados não variarão muito em relação aos dados de treinamento. Estou pensando aqui na previsão de tráfego, em que o status do tráfego segue um conjunto fixo de padrões Manhã de...
Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de 500 observações (não...
Eu tenho um problema de regressão com 5-6k variáveis. Divido meus dados em três conjuntos não sobrepostos: treinamento, validação e teste. Treino usando apenas o conjunto de treinamento e gere muitos modelos diferentes de regressão linear escolhendo um conjunto diferente de 200 variáveis para...
estou participando de um desafio no qual criei um modelo que executa 70% de AUC no conjunto de trens e 70% de AUC no conjunto de testes de espera. O outro participante criou um modelo que executa 96% de AUC no conjunto de trens e 76% de AUC no conjunto de testes de espera. Na minha opinião, meu...
Minha pergunta está relacionada à regularização em regressão linear e regressão logística. Atualmente, estou fazendo a terceira semana do curso Machine Learning de Andrew Ng sobre Coursera. Entendo como o ajuste excessivo pode ser um problema comum e tenho alguma intuição de como a regularização...
Se eu gerar muitos modelos aleatórios (sem considerar os dados) em uma configuração de regressão simplesmente atribuindo aleatoriamente valores de coeficientes e, em seguida, avaliando esses modelos no conjunto de dados com uma métrica de erro e escolhendo o melhor modelo com base nessa métrica de...
Esta é uma pergunta estranha, eu sei. Eu sou apenas um noob e tentando aprender sobre diferentes opções de classificadores e como elas funcionam. Então, eu estou fazendo a pergunta: Dado um conjunto de dados de n1-dimensões e n2-observações em que cada observação pode ser classificada em...