Atualmente, estou tentando treinar um modelo em um arquivo csv grande (> 70 GB com mais de 60 milhões de linhas). Para fazer isso, estou usando tf.contrib.learn.read_batch_examples. Estou lutando para entender como essa função realmente lê os dados. Se estou usando um tamanho de lote de, por...
Gostaria de executar algum modelo de aprendizado de máquina como floresta aleatória, aumento de gradiente ou SVM no meu conjunto de dados. Existem mais de 200 variáveis preditivas no meu conjunto de dados e minhas classes de destino são uma variável binária. Preciso executar a seleção de...
Estou um pouco confuso com a diferença entre os termos "Machine Learning" e "Deep Learning". Eu pesquisei no Google e li muitos artigos, mas ainda não está muito claro para mim. Uma definição conhecida de Machine Learning de Tom Mitchell é: Um programa de computador é dito para aprender com a...
Atualmente, estou escrevendo um artigo sobre Big Data, que utiliza R fortemente para análise de dados. Por acaso tenho um GTX1070 no meu pc por motivos de jogos. Assim, achei que seria muito legal se eu pudesse usar isso para acelerar parte do processamento de algumas das coisas que meus...
Trabalho com aprendizado de máquina e bioinformática há um tempo e hoje tive uma conversa com um colega sobre os principais problemas gerais da mineração de dados. Meu colega (que é especialista em aprendizado de máquina) disse que, na opinião dele, o aspecto prático mais importante do aprendizado...
Estou tentando entender a abordagem do gradiente de política para resolver o problema da cartpole . Nesta abordagem, estamos expressando o gradiente da perda referente a cada parâmetro de nossa política como uma expectativa da soma dos gradientes de nosso gradiente de política para todas as ações...
Estou trabalhando no modelo Seq2Seq usando LSTM da Keras (usando o Theano background) e gostaria de paralelizar os processos, porque poucos MBs de dados precisam de várias horas para treinamento. É claro que as GPUs são muito melhores em paralelismo do que as CPUs. No momento, só tenho CPUs para...
Estou convertendo um corpus de documentos de texto em vetores de palavras para cada documento. Eu tentei isso usando um TfidfVectorizer e um HashingVectorizer Entendo que um HashingVectorizernão leva em consideração as IDFpontuações como um TfidfVectorizerfaz. A razão pela qual ainda estou...
Essas duas operações de convolução são muito comuns no aprendizado profundo no momento. Eu li sobre a camada convolucional dilatada neste artigo: WAVENET: UM MODELO GERATIVO PARA ÁUDIO CRU e desconvolução está neste artigo: Redes totalmente convolucionais para segmentação semântica Ambos...
Estou executando uma rede neural de aprendizado profundo que foi treinada por uma GPU. Agora eu quero implantar isso em vários hosts para inferência. A questão é: quais são as condições para decidir se devo usar GPUs ou CPUs como inferência? Adicionando mais detalhes dos comentários abaixo. Eu...
Estou tentando treinar um único perceptron (1000 unidades de entrada, 1 saída, sem camadas ocultas) em 64 pontos de dados gerados aleatoriamente. Estou usando o Pytorch usando o otimizador Adam: import torch from torch.autograd import Variable torch.manual_seed(545345) N, D_in, D_out = 64, 1000,...
Analisei muitas vezes um conjunto de dados no qual eu realmente não poderia fazer nenhum tipo de classificação. Para ver se consigo obter um classificador, geralmente utilizei as seguintes etapas: Gere plotagens de caixa de etiqueta com valores numéricos. Reduza a dimensionalidade para 2 ou 3...
Eu tenho dois DataFrames (Ação, Comédia). Ação contém duas colunas (ano, classificação). As colunas de classificação contêm classificação média em relação ao ano. O Dataframe da comédia contém as mesmas duas colunas com diferentes valores médios. mesclo o dataframe em um total de ano...
Eu sou muito novo no aprendizado profundo e estou particularmente interessado em saber o que são LSTM e BiLSTM e quando usá-los (principais áreas de aplicação). Por que o LSTM e o BILSTM são mais populares que o RNN? Podemos usar essas arquiteturas de aprendizado profundo em problemas não...
Dados de entrada: -> características da camiseta (cor, logotipo, etc)XXX -> margem de lucroYYY Treinei uma floresta aleatória nos e Y acima e obtive uma precisão razoável nos dados de teste. Então eu tenhoXXXYYY .P(Y|X)P(Y|X)P(Y|X) Agora, eu gostaria de encontrar isto é, distribuição...
Preciso encontrar a precisão de um conjunto de dados de treinamento aplicando o Algoritmo Aleatório de Floresta. Mas meu tipo de conjunto de dados é categórico e numérico. Quando tentei ajustar esses dados, recebo um erro. 'Input contém NaN, infinito ou um valor muito grande para dtype ('...
Estou trabalhando com um conjunto de dados com grande número de recursos categóricos (> 80%) prevendo uma variável de destino contínua (ou seja, Regressão). Eu tenho lido bastante sobre maneiras de lidar com recursos categóricos. E aprendi que a codificação one-hot que eu tenho usado no passado...
Acabei de concluir o curso de aprendizado de máquina para R em cognitiveclass.ai e comecei a experimentar com florestas aleatórias. Eu criei um modelo usando a biblioteca "randomForest" em R. O modelo é classificado por duas classes, boa e ruim. Sei que quando um modelo está super ajustado, ele...
Estou trabalhando com Python, scikit-learn e keras. Tenho 3000 mil imagens de relógios de frente, como os seguintes: Watch_1 , Watch_2 , Watch_3 . Quero escrever um programa que receba como entrada uma foto de um relógio real que talvez seja tirada em condições menos ideais do que as fotos acima...
Como você otimizaria um pré-treinado neural network para aplicá-lo a um problema separado? Você adicionaria mais camadas ao modelo pré-treinado e o testaria em seu conjunto de dados? Por exemplo, se a tarefa fosse usar uma CNN para classificar grupos de papel de parede , tenho certeza de que não...