Eu sei que o Spark está totalmente integrado ao Scala. Seu caso de uso é especificamente para grandes conjuntos de dados. Quais outras ferramentas têm bom suporte ao Scala? O Scala é mais adequado para conjuntos de dados maiores? Ou também é adequado para conjuntos de dados
A contribuição para projetos de código aberto é normalmente uma boa maneira de obter alguma prática para iniciantes e tentar uma nova área para cientistas e analistas de dados experientes. Quais projetos você contribui? Forneça algum link de introdução + no
Superajustei meu LSTM se eu treiná-lo através da janela deslizante? Por que as pessoas parecem não usá-lo para LSTMs? Para um exemplo simplificado, suponha que tenhamos de prever a sequência de caracteres: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z É ruim (ou melhor?) Se eu continuar...
Estou olhando para este tutorial: https://www.dataquest.io/mission/75/improving-your-submission Na seção 8, encontrando os melhores recursos, mostra o código a seguir. import numpy as np from sklearn.feature_selection import SelectKBest, f_classif predictors = ["Pclass", "Sex", "Age", "SibSp",...
https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping Os benchmarks data.table não são atualizados desde 2014. Ouvi dizer que Pandasagora é mais rápido do que data.table. Isso é verdade? Alguém já fez benchmarks? Eu nunca usei Python antes, mas consideraria mudar se pandaspode...
Estou usando o Brain para treinar uma rede neural em um conjunto de recursos que inclui valores positivos e negativos. Mas o Brain requer valores de entrada entre 0 e 1. Qual é a melhor maneira de normalizar meus
Estou tentando criar um Regressionmodelo e estou procurando uma maneira de verificar se há alguma correlação entre recursos e variáveis de destino? Esta é a minha amostra dataset Loan_ID Gender Married Dependents Education Self_Employed ApplicantIncome\ 0 LP001002 Male No 0 Graduate No 5849...
Existem pacotes de aprendizado de máquina para o R que podem usar a GPU para melhorar a velocidade do treinamento (algo como o theano do mundo python)? Vejo que existe um pacote chamado gputools que permite a execução de código na gpu, mas estou procurando uma biblioteca mais completa para...
Digamos que tenho uma imagem de cima para baixo de uma seta e quero prever o ângulo que essa seta faz. Isso seria entre e 360 graus, ou entre 0 e 2 π . O problema é que esse alvo é circular, 0 e 360 graus são exatamente os mesmos, o que é uma invariância que eu gostaria de incorporar ao meu alvo, o...
Quais são as condições de dados que devemos observar, onde os valores de p podem não ser a melhor maneira de decidir a significância estatística? Existem tipos de problemas específicos que se enquadram nessa
https://radimrehurek.com/gensim/models/doc2vec.html Por exemplo, se treinamos o doc2vec com "aaaaaAAAAAaaaaaa" - "rótulo 1" "BbbbbbBBBBBbbbb" - "rótulo 2" podemos inferir que “aaaaAAAAaaaaAA” é o rótulo 1 usando o Doc2vec? Eu sei que o Doc2vec pode treinar vetores de palavras e rótulos. Usando...
Gostaria de saber em que situações é vantajoso empilhar
Eu trabalho em um escritório onde o SQL Server é a espinha dorsal de tudo o que fazemos, desde o processamento de dados até a limpeza e a substituição. Meu colega é especialista em escrever funções complexas e procedimentos armazenados para processar metodicamente os dados recebidos, para que...
Estou tentando criar uma rede neural usando séries temporais como entrada, para treiná-la com base no tipo de cada série. Eu li que usando RNNs você pode dividir a entrada em lotes e usar todos os pontos da série temporal em neurônios individuais e, eventualmente, treinar a rede. O que estou...
Estou trabalhando em uma competição de ciência de dados para a qual a distribuição do meu conjunto de testes é diferente do conjunto de treinamento. Quero subamostrar observações do conjunto de treinamento que se assemelha muito ao conjunto de teste. Como posso fazer
A extração e a seleção de recursos reduzem essencialmente a dimensionalidade dos dados, mas a extração de recursos também torna os dados mais separáveis, se eu estiver certo. Qual técnica seria preferida à outra e quando? Eu estava pensando, como a seleção de recursos não modifica os dados...
Se eu olhar para uma das muitas fontes para as aulas da Imagenet na Internet, não consigo encontrar uma única classe relacionada aos seres humanos (e não, o harvestman não é alguém que colhe, mas é o que eu conhecia como um pai de pernas longas, uma espécie de aranha :-). Como isso é possível? Eu...
Estou treinando uma rede neural convolucional para classificar imagens em condições de neblina (3 aulas). No entanto, para cada uma das cerca de 150.000 imagens, também tenho quatro variáveis meteorológicas disponíveis que podem ajudar a prever as classes das imagens. Fiquei imaginando como...
Devido a várias maldições da dimensionalidade , a precisão e a velocidade de muitas das técnicas preditivas comuns se degradam em dados de alta dimensão. Quais são algumas das técnicas / truques / heurísticas mais úteis que ajudam a lidar com dados de alta dimensão de maneira eficaz? Por...
Quero treinar um modelo de aprendizado profundo em um conjunto de dados contendo cerca de 3000 imagens. Como o conjunto de dados é enorme, quero usar o Google colab, pois é compatível com GPU. Como faço para carregar esta pasta de imagem completa no meu notebook e