Eu sou relativamente novo em florestas aleatórias. No passado, sempre comparei a precisão do ajuste contra o teste contra o ajuste contra o trem para detectar qualquer ajuste excessivo. Mas acabei de ler aqui que: "Em florestas aleatórias, não há necessidade de validação cruzada ou de um...
Estou tentando usar a regressão aleatória de floresta no scikits-learn. O problema é que estou recebendo um erro de teste muito alto: train MSE, 4.64, test MSE: 252.25. É assim que meus dados ficam: (azul: dados reais, verde: previsto): Estou usando 90% para treinamento e 10% para teste. Este...
Suponha que tenhamos uma resposta Y e os preditores X1, ...., Xn. Se tentássemos ajustar Y através de um modelo linear de X1, ...., Xn, e acontecesse que a verdadeira relação entre Y e X1, ..., Xn não fosse linear, poderíamos ser capazes para consertar o modelo, transformando os X de alguma forma e...
Gostaria de saber se a floresta aleatória de Breiman (floresta aleatória no pacote R randomForest) usa como critério de divisão (critério para seleção de atributo) o ganho de informações ou o índice Gini? Tentei descobrir isso em http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e na...
Na verdade, estou escrevendo uma implementação do Random Forests, mas acredito que a pergunta é específica para as árvores de decisão (independentes dos RFs). Portanto, o contexto é que estou criando um nó em uma árvore de decisão e as variáveis de previsão e de destino são contínuas. O nó...
Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em...
Estou aplicando um algoritmo de floresta aleatória como um classificador em um conjunto de dados de microarrays que são divididos em dois grupos conhecidos com milhares de recursos. Após a execução inicial, analiso a importância dos recursos e executo o algoritmo em árvore novamente com os 5, 10 e...
Estou treinando um modelo de classificação com a Random Forest para discriminar entre 6 categorias. Meus dados transacionais têm aproximadamente 60k + observações e 35 variáveis. Aqui está um exemplo de como ele se parece aproximadamente.
Na verdade, eu pensei que tinha entendido o que se pode mostrar com um gráfico de dependência parcial, mas usando um exemplo hipotético muito simples, fiquei bastante confuso. No seguinte pedaço de código que geram três variáveis independentes ( a , b , c ) e uma variável dependente ( y ) com c que...
Tradicionalmente, usamos modelo misto para modelar dados longitudinais, ou seja, dados como: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 podemos assumir interceptação ou inclinação aleatória para pessoas diferentes. No entanto, a pergunta que...
Eu usei randomForest para classificar 6 comportamentos de animais (por exemplo, em pé, andando, nadando etc.) com base em 8 variáveis (diferentes posturas e movimentos corporais). O MDSplot no pacote randomForest me fornece essa saída e tenho problemas em interpretar o resultado. Eu fiz um PCA...
Para aumentar os algoritmos, eu diria que eles evoluíram muito bem. No início de 1995, o AdaBoost foi introduzido e, depois de algum tempo, era o Gradient Boosting Machine (GBM). Recentemente, foi lançado o XGBoost, por volta de 2015, que é preciso, lida com o excesso de ajustes e se tornou...
Gostaria de criar uma floresta aleatória usando o seguinte processo: Construa uma árvore em amostras aleatórias dos dados e recursos usando o ganho de informações para determinar as divisões Encerre um nó folha se exceder uma profundidade predefinida OU qualquer divisão resultaria em uma contagem...
Atualmente, estou usando a caixa de ferramentas RF no MATLAB para uma classificação binária Conjunto de dados: 50000 amostras e mais de 250 recursos Então, qual deve ser o número de árvores e o recurso selecionado aleatoriamente em cada divisão para cultivar as árvores? outro parâmetro pode...
Estou um pouco confuso: como os resultados de um modelo treinado via sinal de intercalação diferem do modelo na embalagem original? Eu li se o pré-processamento é necessário antes da previsão usando o FinalModel do RandomForest com pacote de interpolação? mas eu não uso nenhum pré-processamento...
Uma floresta aleatória é uma coleção de árvores de decisão seguindo o conceito de ensacamento. Quando passamos de uma árvore de decisão para a próxima, então como as informações aprendidas pela última árvore de decisão avançam para a próxima? Porque, de acordo com meu entendimento, não há nada...
Estou tentando fazer previsões usando um modelo aleatório de floresta em R. No entanto, recebo erros, pois alguns fatores têm valores diferentes no conjunto de testes e no conjunto de treinamento. Por exemplo, um fator Cat_2possui valores 34, 68, 76, etc., no conjunto de testes que não aparecem no...
Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os...
Eu sou bastante novo em aprendizado de máquina, técnicas CART e similares, e espero que minha ingenuidade não seja muito óbvia. Como a Random Forest lida com estruturas de dados hierárquicas / multiníveis (por exemplo, quando a interação entre níveis é interessante)? Ou seja, conjuntos de dados...
Estou jogando com um randomForest e descobri que geralmente aumentar o sampSize leva a um melhor desempenho. Existe uma regra / fórmula / etc que sugere qual deve ser o sampSize ideal ou é uma tentativa e erro? Eu acho que outra maneira de expressar isso; Quais são os meus riscos de um tamanho...