Estou procurando uma explicação de como a importância da variável relativa é calculada nas árvores com gradiente de aumento que não é excessivamente geral / simplista como: As medidas são baseadas no número de vezes que uma variável é selecionada para divisão, ponderada pela melhoria ao quadrado...
Embora essa pergunta seja um pouco subjetiva, espero que seja qualificada como uma boa pergunta subjetiva, de acordo com as diretrizes do FAQ . É baseado em uma pergunta que Olle Häggström me fez há um ano e, embora eu tenha algumas idéias sobre isso, não tenho uma resposta definitiva e gostaria de...
Estou tentando montar um currículo de matemática auto-direcionado para me preparar para o aprendizado de mineração de dados e aprendizado de máquina. Isso é motivado pelo início da aula de aprendizado de máquina de Andrew Ng no Coursera e sentindo que, antes de prosseguir, eu precisava melhorar...
Eu gostaria de entender, qual é a principal diferença de implementação entre os algoritmos de agrupamento padrão e esférico de k-means. Em cada etapa, k-means calcula as distâncias entre vetores de elementos e centróides do cluster e reatribui o documento a esse cluster, cujo centróide é o mais...
Vamos considerar, por exemplo, um modelo de regressão linear. Ouvi dizer que, na mineração de dados, depois de realizar uma seleção gradual baseada no critério da AIC, é enganoso olhar para os valores p para testar a hipótese nula de que cada coeficiente de regressão verdadeiro é zero. Ouvi dizer...
Atualmente, tenho que analisar aproximadamente 20 milhões de registros e criar modelos de previsão. Até agora, experimentei o Statistica, SPSS, RapidMiner e R. Entre estes, o Statistica parece ser mais adequado para lidar com mineração de dados e a interface do usuário do RapidMiner também é muito...
Eu sou um estudante de mestrado em uma universidade alemã agora escrevendo minha tese. Estarei pronto em dois meses. Tenho que tomar uma decisão muito difícil se continuar com um doutorado ou encontrar um emprego na indústria. Minhas razões para fazer um PhD: Sou uma pessoa muito curiosa e sinto...
Estou investigando várias técnicas usadas no agrupamento de documentos e gostaria de esclarecer algumas dúvidas sobre o PCA (análise de componentes principais) e LSA (análise semântica latente). Primeira coisa - quais são as diferenças entre eles? Eu sei que no PCA, a decomposição de SVD é...
Considere um cenário em que você recebe as matrizes KnownLabel Matrix e PredictedLabel. Eu gostaria de medir a qualidade da matriz PredictedLabel em relação à matriz KnownLabel. Mas o desafio aqui é que a KnownLabel Matrix tem poucas linhas, apenas uma 1 e outras poucas linhas têm muitos 1's...
Vejo que ambas as funções fazem parte de métodos de mineração de dados, como os Gradress Boosting Regressors. Vejo que esses também são objetos separados. Como é a relação entre os dois em
Qual é a diferença entre a distribuição binomial negativa e a distribuição binomial? Tentei ler on-line e descobri que a distribuição binomial negativa é usada quando os pontos de dados são discretos, mas acho que até a distribuição binomial pode ser usada para pontos de dados...
Quero executar o agrupamento K-means nos objetos que tenho, mas os objetos não são descritos como pontos no espaço, ou seja, por objects x featuresconjunto de dados. No entanto, sou capaz de calcular a distância entre dois objetos (ela se baseia em uma função de similaridade). Então, eu descarto a...
Quase todo exemplo de árvore de decisão que encontrei é uma árvore binária. Isso é praticamente universal? A maioria dos algoritmos padrão (C4.5, CART etc.) suporta apenas árvores binárias? Pelo que entendi, CHAID não se limita a árvores binárias, mas isso parece ser uma exceção. Uma divisão...
O trecho a seguir é do Hedge Fund Market Wizzards da Schwager (maio de 2012), uma entrevista com o sempre bem-sucedido gerente de fundos de hedge Jaffray Woodriff: Para a pergunta: "Quais são alguns dos piores erros que as pessoas cometem na mineração de dados?": Muitas pessoas pensam que...
Os dados têm muitos recursos (por exemplo, 100) e o número de instâncias é como 100.000. Os dados são escassos. Quero ajustar os dados usando regressão logística ou svm. Como sei se os recursos são lineares ou não lineares para que eu possa usar o truque do kernel se não...
Suponha que você esteja analisando um enorme conjunto de dados na ordem de bilhões de observações por dia, em que cada observação possui algumas milhares de variáveis numéricas e categoriais esparsas e possivelmente redundantes. Digamos que exista um problema de regressão, um problema de...
Estou lendo Bishop no algoritmo EM para GMM e a relação entre GMM e k-means. Neste livro, diz que k-means é uma versão de atribuição difícil do GMM. Gostaria de saber se isso implica que, se os dados que estou tentando agrupar não forem gaussianos, não posso usar o k-means (ou pelo menos não é...
Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o...
Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 8 anos . Estou tentando montar um pacote de mineração de dados para sites StackExchange e, em particular, estou tentando determinar as perguntas "mais...
"Supervisão à distância" é um esquema de aprendizado no qual um classificador é aprendido, devido a um conjunto de treinamento pouco rotulado (os dados de treinamento são rotulados automaticamente com base em heurísticas / regras). Penso que tanto a aprendizagem supervisionada quanto a...