Quais são as diferenças, se houver, entre um "cientista de dados" e um "engenheiro de aprendizado de máquina"? Ao longo do ano passado, o "engenheiro de aprendizado de máquina" começou a aparecer muito nas ofertas de emprego. Isso é particularmente notável em São Francisco, que é...
Alguém pode praticamente explicar a lógica por trás da impureza de Gini versus ganho de informação (com base na Entropia)? Qual métrica é melhor usar em diferentes cenários ao usar árvores de
Eu estava começando a olhar para a área sob curva (AUC) e estou um pouco confuso sobre sua utilidade. Quando me expliquei pela primeira vez, a AUC parecia ser uma grande medida de desempenho, mas em minha pesquisa eu descobri que alguns afirmam que sua vantagem é quase sempre marginal, pois é...
O problema com o qual estou lidando é prever valores de séries temporais. Estou analisando uma série temporal por vez e, com base em, por exemplo, 15% dos dados de entrada, gostaria de prever seus valores futuros. Até agora me deparei com dois modelos: LSTM (memória de longo prazo; uma classe de...
Estou fazendo alguns problemas em uma aplicação de árvore de decisão / floresta aleatória. Estou tentando ajustar um problema que possui números e seqüências de caracteres (como o nome do país) como recursos. Agora, a biblioteca, o scikit-learn usa apenas números como parâmetros, mas quero injetar...
Estou construindo um modelo de regressão e preciso calcular o abaixo para verificar se há correlações Correlação entre 2 variáveis categóricas multiníveis Correlação entre uma variável categórica multinível e uma variável contínua VIF (fator de inflação de variância) para variáveis...
Esta é uma pequena questão conceitual que me incomoda há um tempo: como podemos retropropagar através de uma camada de pool máximo em uma rede neural? Me deparei com camadas de pool máximo durante o tutorial da biblioteca nn do Torch 7. A biblioteca abstrai o cálculo do gradiente e as passagens...
Estou tentando começar a aprender sobre RNNs e estou usando o Keras. Entendo a premissa básica das camadas RNN e LSTM de baunilha, mas estou tendo problemas para entender um certo ponto técnico do treinamento. Na documentação do keras , diz que a entrada para uma camada RNN deve ter forma...
Histórico do problema: Estou trabalhando em um projeto que envolve arquivos de log semelhantes aos encontrados no espaço de monitoramento de TI (para minha melhor compreensão do espaço de TI). Esses arquivos de log são dados de séries temporais, organizados em centenas / milhares de linhas de...
Como dividir aleatoriamente uma matriz de dados e o vetor de rótulo correspondente em um X_train, X_test, X_val, y_train, y_test, y_val com o Sklearn? Tanto quanto eu sei, sklearn.cross_validation.train_test_splitsó é capaz de se dividir em dois, não em três
Na wikipedia, redução de dimensionalidade ou redução de dimensão é o processo de redução do número de variáveis aleatórias em consideração e pode ser dividido em seleção e extração de recursos. Qual é a diferença entre a seleção e extração de recursos? Qual é um exemplo de redução de...
Esta pergunta é uma resposta a um comentário que vi em outra pergunta. O comentário foi sobre o programa do curso de Aprendizado de Máquina no Coursera, e na linha de "SVMs não são tão usados hoje em dia". Acabei de terminar as palestras relevantes, e meu entendimento dos SVMs é que eles são um...
A lógica geralmente declara que, ao desajustar um modelo, sua capacidade de generalizar aumenta. Dito isto, claramente em algum momento a falta de ajuste de um modelo faz com que os modelos piorem, independentemente da complexidade dos dados. Como você sabe quando seu modelo alcançou o equilíbrio...
Li recentemente o comentário de Yan LeCuns sobre convoluções 1x1 : Nas redes convolucionais, não existem "camadas totalmente conectadas". Existem apenas camadas de convolução com kernels de convolução 1x1 e uma tabela de conexão completa. É um fato raramente compreendido que ConvNets não...
Estive pensando nas Redes Neurais Recorrentes (RNN) e suas variedades e nas Redes Neurais Convolucionais (CNN) e suas variedades. Seria justo dizer esses dois pontos: Use CNNs para dividir um componente (como uma imagem) em subcomponentes (como um objeto em uma imagem, como o contorno do objeto...
Vejo muitas vezes na descrição do trabalho de um cientista de dados que solicita experiência em Python / Java e desconsidere R. Abaixo está um e-mail pessoal que recebi do cientista de dados principal de uma empresa que solicitei através do linkedin. X, obrigado por conectar e expressar...
Eu sabia que a Residual Network (ResNet) tornou popular a inicialização normal de He. No ResNet, a inicialização normal é usada , enquanto a primeira camada usa a inicialização uniforme. Examinei os artigos da ResNet e os artigos "Investigando profundamente os retificadores" (artigo de...
Qual é a abordagem correta e o algoritmo de clustering para clustering de geolocalização? Estou usando o seguinte código para agrupar coordenadas de localização geográfica: import numpy as np import matplotlib.pyplot as plt from scipy.cluster.vq import kmeans2, whiten coordinates= np.array([...
Quando comecei com redes neurais artificiais (NN), pensei que teria que combater o excesso de ajustes como o principal problema. Mas, na prática, nem consigo que meu NN ultrapasse a barreira da taxa de erro de 20%. Eu não posso nem bater minha pontuação na floresta aleatória! Estou buscando...
Estou trabalhando em um projeto de ciência de dados usando Python. O projeto tem várias etapas. Cada estágio consiste em pegar um conjunto de dados, usando scripts Python, dados auxiliares, configuração e parâmetros e criar outro conjunto de dados. Eu guardo o código no git, para que essa parte...