Ao codificar recursos categóricos para regressão linear, existe uma regra: o número de manequins deve ser um a menos que o número total de níveis (para evitar colinearidade). Existe uma regra semelhante para as Árvores de Decisão (ensacadas, reforçadas)? Estou perguntando isso, porque uma prática...
Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de
Eu tenho um conjunto de dados composto por 24 linhas de dados mensais. Os recursos são PIB, chegadas no aeroporto, mês e alguns outros. A variável dependente é o número de visitantes de um destino turístico popular. A Random Forest seria adequada para esse problema? Os dados não são públicos, por...
Estou fazendo regressão usando florestas aleatórias para prever preços com base em vários atributos. O código é escrito em Python usando o Scikit-learn. Como você decide se deve transformar suas variáveis usando exp/ logantes de usá-las para se ajustar ao modelo de regressão? É necessário ao...
Estou tentando entender como a Random Forest funciona. Tenho uma idéia de como as árvores são construídas, mas não consigo entender como a Random Forest faz previsões em amostras fora do saco. Alguém poderia me dar uma explicação simples, por favor?
Digamos que temos um problema de classificação binária com recursos principalmente categóricos. Usamos algum modelo não linear (por exemplo, XGBoost ou Random Forests) para aprendê-lo. Ainda se deve preocupar com a multicolinearidade? Por quê? Se a resposta acima for verdadeira, como combatê-la,...
Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os...
Eu sou bastante novo em aprendizado de máquina, técnicas CART e similares, e espero que minha ingenuidade não seja muito óbvia. Como a Random Forest lida com estruturas de dados hierárquicas / multiníveis (por exemplo, quando a interação entre níveis é interessante)? Ou seja, conjuntos de dados...
Qual é a melhor função de custo para uma árvore de floresta aleatória: índice de Gini ou entropia? Estou tentando implementar uma floresta aleatória no
Penso que esta é uma pergunta direta, embora o raciocínio por trás do porquê ou por que não possa não ser. O motivo pelo qual pergunto é que recentemente escrevi minha própria implementação de uma RF e, embora ela tenha um bom desempenho, ela não está funcionando tão bem quanto eu esperava (com...
Estou tentando resolver uma tarefa chamada detecção de pedestres e treino clasifer binário em duas categorias positivas - pessoas, negativos - antecedentes. Eu tenho um conjunto de dados: número de positivos = 3752 número de negativo = 3800 Eu uso train \ test split 80 \ 20% e...
Para uma competição recente do Kaggle, eu (manualmente) defini 10 recursos adicionais para o meu conjunto de treinamento, que seriam usados para treinar um classificador de florestas aleatórias. Decidi executar o PCA no conjunto de dados com os novos recursos, para ver como eles se comparavam. Eu...
Estou usando o pacote randomForest no R e usando os dados da íris, a floresta aleatória gerada é uma classificação, mas quando uso um conjunto de dados com cerca de 700 recursos (os recursos são cada pixel em uma imagem de 28 x 28 pixels) e a coluna do rótulo é denominada label, o...
Então, eu tenho uma matriz de cerca de 60 x 1000. Estou vendo como 60 objetos com 1000 recursos; os 60 objetos são agrupados em 3 classes (a, b, c). 20 objetos em cada classe, e sabemos a verdadeira classificação. Gostaria de fazer um aprendizado supervisionado neste conjunto de 60 exemplos de...
Eu tenho dados com alguns milhares de recursos e desejo fazer a seleção recursiva de recursos (RFE) para remover os não informativos. Eu faço isso com sinal de intercalação e RFE. No entanto, comecei a pensar, se quero obter o melhor ajuste de regressão (floresta aleatória, por exemplo), quando...
O meu entendimento é os picaretas florestais aleatórios aleatoriamente mtry variáveis para construir cada árvore de decisão. Portanto, se mtry = ncol / 3, então cada variável será usada em média em 1/3 das árvores. E 2/3 das árvores não as usarão. Mas e se eu souber que uma única variável é...
Eu sou novo no aprendizado de máquina. Eu apliquei regressão logística e floresta aleatória em um mesmo conjunto de dados. Então, recebo importância variável (coeficiente absoluto para regressão logística e importância variável para floresta aleatória). Estou pensando em combinar os dois para obter...
Uma floresta aleatória pode ser treinada para prever adequadamente os dados de contagem? Como isso aconteceria? Eu tenho uma gama bastante extensa de valores para que a classificação não faça sentido. Se eu usasse regressão, simplesmente truncaria os resultados? Estou bastante perdido aqui. Alguma...
Estou tentando entender como usar o aprendizado de máquina para prever séries temporais financeiras 1 ou mais etapas no futuro. Tenho séries temporais financeiras com alguns dados descritivos e gostaria de formar um modelo e depois usá-lo para prever n passos adiante. O que tenho feito até agora...
Eu uso o pacote de intercalação para treinar um objeto randomForest com 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Depois...