Eu tenho um modelo XGBoost tentando prever se uma moeda vai subir ou descer no próximo período (5 min). Eu tenho um conjunto de dados de 2004 a 2018. Dividi os dados aleatoriamente em 95% de treinamento e 5% de validação, e a precisão no conjunto de Validação é de até 55%. Quando uso o modelo em um...
Atualmente, estou trabalhando com um conjunto de dados com uma ampla variedade de comprimentos de documentos - de uma única palavra a uma página inteira de texto. Além disso, a estrutura gramatical e o uso da pontuação variam muito de um documento para outro. O objetivo é classificar esses...
Eu tenho uma matriz que é preenchida com elementos discretos e preciso agrupá-los (usando R) em grupos intactos. Então, por exemplo, considere esta matriz: [A B B C A] [A A B A A] [A B B C C] [A A A A A] Haveria dois clusters separados para A, dois clusters separados para C e um cluster para...
Eu sou novo no RHadoop e também no RMR ... Eu tinha um requisito para escrever um trabalho de Mapreduce no R Mapreduce. Eu tentei escrever, mas ao executar isso, dá um erro. Tring para ler o arquivo de hdfs Erro: Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :...
Estou tentando usar o módulo sklearn_pandas para estender o trabalho que faço nos pandas e mergulhar no aprendizado de máquina, mas estou com um erro que realmente não entendo como corrigir. Eu estava trabalhando no seguinte conjunto de dados no Kaggle . É essencialmente uma tabela sem cabeçalho...
então estou usando o Spark para fazer análises de sentimentos e continuo recebendo erros com os serializadores que ele usa (acho) para transmitir objetos python. PySpark worker failed with exception: Traceback (most recent call last): File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin-...
O conjunto de dados se parece com: 25000 observações até 15 preditores de diferentes tipos: numérico, multi-classe categórica, binário variável de destino é binária Qual método de validação cruzada é típico para esse tipo de problema? Por padrão, estou usando o K-Fold. Quantas dobras é...
Onde posso encontrar um conjunto de dados espaço-temporal gratuito para download para que eu possa brincar com ele no R?
Estou explorando como modelar um conjunto de dados usando distribuições normais com média e variância definidas como funções lineares de variáveis independentes. Algo como N ~ (f (x), g (x)). Eu gero uma amostra aleatória como esta: def draw(x): return norm(5 * x + 2, 3 *x +...
Eu tenho uma pergunta sobre o uso da rede neural. Atualmente, estou trabalhando com R ( pacote neuralnet ) e estou enfrentando o seguinte problema. Meu conjunto de testes e validação está sempre atrasado em relação aos dados históricos. Existe uma maneira de corrigir o resultado? Talvez algo esteja...
Antes de tudo, sei que a pergunta pode não ser adequada para o site, mas eu realmente apreciaria se você me desse algumas dicas. Sou um programador de 16 anos, tenho experiência com diversas linguagens de programação. Há algum tempo, iniciei um curso no Coursera, intitulado introdução ao...
De A_Roadmap_to_SVM_SMO.pdf , página 12. (fonte: postimg.org ) Suponha que eu esteja usando o kernel linear, como poderei obter o primeiro e o segundo produto interno? Meu palpite, produto interno do datapoint com datapoint j rotulado classe A para o primeiro produto interno da equação e...
Aparentemente, o Naive Bayes lida com os dados ausentes de maneira diferente, dependendo se eles existem em instâncias de treinamento ou teste / classificação. Ao classificar instâncias, o atributo com o valor ausente simplesmente não é incluído no cálculo de probabilidade (...
Estou lendo sobre a arquitetura lambda. Faz sentido. temos ingestão de dados baseada em fila. temos um armazenamento na memória para dados que é muito novo e temos HDFS para dados antigos. Portanto, temos todo o nosso conjunto de dados. no nosso sistema. muito bom. mas o diagrama da arquitetura...
Estou interessado em encontrar uma estatística que rastreie a imprevisibilidade de uma série temporal. Por uma questão de simplicidade, suponha que cada valor na série temporal seja 1 ou 0. Portanto, por exemplo, as duas séries temporais a seguir são totalmente previsíveis TS1: 1 1 1 1 1 1 1 1 1...
Alguém poderia recomendar uma boa medida de similaridade para objetos que possuem várias classes, onde cada classe faz parte de uma hierarquia? Por exemplo, digamos que as classes se pareçam com: 1 Produce 1.1 Eggs 1.1.1 Duck eggs 1.1.2 Chicken eggs 1.2 Milk 1.2.1 Cow milk 1.2.2 Goat milk 2...
Minha empresa fornece serviços gerenciados para muitos de seus clientes. Nossos clientes geralmente usam as seguintes ferramentas de monitoramento para monitorar seus servidores / aplicativos da web: OpsView Nagios Pingdom Scripts de shell customizados Sempre que qualquer problema é encontrado,...
Pode ser uma pergunta muito ampla com opiniões pesadas, mas estou realmente achando difícil buscar informações sobre a execução de vários algoritmos usando projetos de mineração de dados do SQL Server Analysis Service versus usando R. Isso ocorre principalmente porque todos os profissionais de...
Comparei os modelos de regressão logística em R ( glm) e Spark (LogisticRegressionWithLBFGS ) em um conjunto de dados de 390 obs. de 14 variáveis. Os resultados são completamente diferentes na interceptação e nos pesos. Como explicar isso? Aqui estão os resultados do Spark...
Passei por essa comparação de disciplinas analíticas e essa perspectiva de aprendizado de máquina , mas não estou encontrando respostas sobre o seguinte: Como a ciência de dados está relacionada ao aprendizado de máquina? Como isso não está relacionado ao Machine