Variáveis categóricas com grande número de níveis e métodos estatísticos para trabalhar com tais variáveis (exemplo: laço fundido).
Quais técnicas estão disponíveis para recolher (ou agrupar) muitas categorias para algumas, com o objetivo de usá-las como uma entrada (preditora) em um modelo estatístico? Considere uma variável como estudante universitário (disciplina escolhida por um estudante de graduação). É desordenado e...
Estou trabalhando em um conjunto de dados com mais de 200.000 amostras e aproximadamente 50 recursos por amostra: 10 variáveis contínuas e as outras ~ 40 são variáveis categóricas (países, idiomas, campos científicos etc.). Para essas variáveis categóricas, você tem, por exemplo, 150 países...
Parece haver uma crescente discussão sobre gráficos de pizza. Os principais argumentos contra isso parecem ser: A área é percebida com menos energia que comprimento. Os gráficos de pizza têm uma relação ponto-a-pixel muito baixa No entanto, acho que eles podem ser de alguma forma úteis ao...
Estou construindo um modelo e acho que a localização geográfica provavelmente será muito boa em prever minha variável de destino. Eu tenho o CEP de cada um dos meus usuários. No entanto, não tenho muita certeza da melhor maneira de incluir o CEP como um recurso preditivo no meu modelo. Embora o CEP...
O pacote randomForest de R não pode lidar com fatores com mais de 32 níveis. Quando recebe mais de 32 níveis, emite uma mensagem de erro: Não é possível lidar com preditores categóricos com mais de 32 categorias. Mas os dados que tenho têm vários fatores. Alguns deles têm mais de 1000 níveis e...
Em um modelo de efeitos mistos, a recomendação é usar um efeito fixo para estimar um parâmetro se todos os níveis possíveis forem incluídos (por exemplo, homens e mulheres). Recomenda-se ainda o uso de um efeito aleatório para contabilizar uma variável se os níveis incluídos forem apenas uma...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Estou lutando para encontrar um método para reduzir o número de categorias em dados nominais ou ordinais. Por exemplo, digamos que eu queira criar um modelo de regressão em um conjunto de dados que possua vários fatores nominais e ordinais. Embora não tenha problemas com esta etapa,...
Muitos algoritmos de aprendizado de máquina, por exemplo, redes neurais, esperam lidar com números. Portanto, quando você tem dados categóricos, precisa convertê-los. Por categórico, quero dizer, por exemplo: Marcas de automóveis: Audi, BMW, Chevrolet ... IDs de usuários: 1, 25, 26, 28 ... Mesmo...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
Quero treinar um classificador, digamos SVM, floresta aleatória ou qualquer outro classificador. Um dos recursos do conjunto de dados é uma variável categórica com 1000 níveis. Qual é a melhor maneira de reduzir o número de níveis nessa variável. No R, existe uma função chamada combine.levels()no...
Estou ciente do fato de que variáveis categóricas com níveis k devem ser codificadas com variáveis k-1 na codificação dummy (da mesma forma para variáveis categóricas com valores múltiplos). Eu queria saber quanto de um problema uma codificação one-hot (ou seja, usando variáveis k) em vez...
Querendo saber se alguém já se deparou com um pacote / função em R que combinará níveis de um fator cuja proporção de todos os níveis de um fator seja menor que algum limite? Especificamente, uma das primeiras etapas na preparação de dados que eu conduzo é recolher níveis esparsos de fatores...
Modelos penalizados podem ser usados para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é...
Estive pesquisando perguntas sobre a codificação de recursos categóricos, mas não encontrei nenhuma que discutisse meu problema. Desculpas se eu perdi. Digamos que temos um conjunto de dados com variáveis binárias e nominais de importância aproximadamente igual cada. A maioria dos...
Estou recebendo o erro "Novos níveis de fatores não presentes nos dados de treinamento". Mas verifiquei os nlevels e a classe de todas as colunas em desenvolvimento, bem como os dados de teste, e eles são os mesmos. Alguma explicação