Estou tentando entender como entender completamente o processo de decisão de um modelo de classificação de árvore de decisão criado com o sklearn. O principal aspecto que estou vendo é uma representação gráfica da árvore e a lista de importâncias de recursos. O que não entendo é como a importância...
Sou novo nesta comunidade e espero que minha pergunta se encaixe aqui. Como parte do meu curso de análise de dados, eu escolhi o projeto de reconhecimento de atividades humanas usando conjuntos de dados de smartphones. No que me diz respeito, este tópico está relacionado ao Machine Learning e...
Como o método interpolar e fillna faz o mesmo trabalho de preencher um valor. Qual é a diferença básica entre os dois. Qual é o significado de ter esses dois métodos diferentes? Alguém pode me explicar em termos leigos. Eu já visitei a documentação oficial e queria saber a...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Data Science Stack Exchange. Fechado há 2 anos . Gostaria de eliminar todas as...
Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, podemos...
Certa vez, ouvi dizer que filtrar spam usando listas negras não é uma boa abordagem, pois algum usuário que está procurando entradas no seu conjunto de dados pode estar procurando informações específicas das fontes bloqueadas. Também seria um fardo validar continuamente o estado atual de cada...
Tenho um enorme arquivo de reclamações de clientes sobre os produtos que minha empresa possui e gostaria de fazer uma análise de dados nessas descrições e marcar uma categoria para cada uma delas. Por exemplo: preciso descobrir o número de reclamações no lado de Software e Hardware do meu produto...
Analisando a apresentação e o material do Summingbird pelo Twitter, um dos motivos mencionados para o uso de clusters Storm e Hadoop juntos no Summingbird é que o processamento através do Storm resulta em cascata de erros. Para evitar essa cascata de erro e acumulação, o cluster Hadoop é usado para...
O que o termo "Inteligência" significa originalmente em "Inteligência de Negócios" ? Significa como usado em " Inteligência Artificial " ou usado em " Agência de Inteligência " ? Em outras palavras, " Business Intelligence " significa: "Agindo de maneira inteligente e inteligente nos negócios" ou...
No python sklearn, existem vários algoritmos (por exemplo, regressão, floresta aleatória ... etc.) que possuem o parâmetro class_weight para manipular dados desequilibrados. No entanto, não encontro esse parâmetro para os algoritmos MLLib. Existe um plano de implementar class_weight para algum...
Pode-se construir modelos lineares em "blocos" do conjunto de dados, se não for possível construí-los em todo o conjunto de dados? Particularmente, ainda tenho mais de 88 mil variáveis (recursos) restantes e não se pode fazer muito com elas sem grandes quantidades de memória. Mas fazer modelos...
Eu tenho dois conjuntos de dados sobre a freqüência cardíaca de sujeitos que foram registrados em dois lugares diferentes (dois continentes diferentes para ser exato). Os dois experimentos de pesquisa tiveram como objetivo encontrar as emoções dos sujeitos com base em quanto a frequência cardíaca...
Recentemente, comecei a ler artigos sobre o Docker. Para mim, na ciência de dados, o Docker é útil porque: 1) Você possui um ambiente totalmente diferente, que o protege contra problemas de bibliotecas e dependências. 2) Se seu aplicativo modificar, por exemplo, o banco de dados da sua empresa,...
Estou lendo sobre a arquitetura lambda. Faz sentido. temos ingestão de dados baseada em fila. temos um armazenamento na memória para dados que é muito novo e temos HDFS para dados antigos. Portanto, temos todo o nosso conjunto de dados. no nosso sistema. muito bom. mas o diagrama da arquitetura...
Como parte do projeto de análise de big data, estou trabalhando, Preciso executar o PCA em alguns dados, usando o sistema de computação em nuvem. No meu caso, estou usando o Amazon EMR para o trabalho e o Spark em particular. Deixando de lado a questão "Como executar o PCA na faísca", quero...
Como usamos uma codificação quente se o número de valores que uma variável categórica pode receber é grande? No meu caso, são 56 valores. Portanto, conforme o método usual, eu teria que adicionar 56 colunas (56 recursos binários) no conjunto de dados de treinamento, o que aumentará imensamente a...
Estou tentando criar um sistema óptico de reconhecimento de caracteres para reconhecer matrículas (indonésia), infelizmente não há um conjunto de treinamento disponível, mas encontrei a fonte, tentei gerar os dados de treinamento, convolvendo a imagem da carta da matrícula com os kernels (algo como...
Eu sou novo aqui. Estou prestes a ter uma entrevista final para uma posição de cientista de dados para uma empresa (é no campo do comércio eletrônico) que é nova para a ciência de dados. É uma posição bastante nova para a empresa e, pelas entrevistas que tive até agora, notei que elas não entendem...
Como o Naive Bayes usa a probabilidade para fazer uma previsão e trata os recursos como condicionalmente independentes um do outro, faz sentido que o modelo ainda possa fazer uma previsão, pois há alguns recursos ausentes nos dados de teste. Eu sei que é prática comum atribuir dados ausentes, mas...