Eu estava lendo esta postagem no blog intitulada: O mundo financeiro quer abrir as caixas pretas da AI , onde o autor se refere repetidamente aos modelos de ML como "caixas pretas". Uma terminologia semelhante foi usada em vários locais ao se referir aos modelos de ML. Por que é tão? Não é como...
Eu tenho uma variedade de conjuntos de dados da NFL que acho que podem ser um bom projeto paralelo, mas ainda não fiz nada com eles. Ir a este site me fez pensar em algoritmos de aprendizado de máquina e me pergunto o quanto eles podem ser bons em prever o resultado de jogos de futebol ou até a...
Recentemente, em uma aula de Machine Learning do professor Oriol Pujol da UPC / Barcelona, ele descreveu os algoritmos, princípios e conceitos mais comuns a serem usados em uma ampla variedade de tarefas relacionadas ao aprendizado de máquina. Aqui eu os compartilho com você e...
Estou prestes a treinar uma grande rede LSTM com 2 a 3 milhões de artigos e estou enfrentando erros de memória (uso o AWS EC2 g2x2large). Eu descobri que uma solução é reduzir o batch_size. No entanto, não tenho certeza se esse parâmetro está relacionado apenas a problemas de eficiência de memória...
Estou tendo problemas para entender a diferença entre equivariante para tradução e invariante para tradução . No livro Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville e Y. Bengio), pode-se encontrar nas redes convolucionais: [...] a forma específica de compartilhamento de parâmetros...
Um aspirante a cientista de dados aqui. Não sei nada sobre o Hadoop, mas como tenho lido sobre Data Science e Big Data, vejo muita conversa sobre o Hadoop. É absolutamente necessário aprender o Hadoop para ser um cientista de
Eu me consideraria um cientista de dados de jornada. Como a maioria (acho), fiz meus primeiros gráficos e fiz minhas primeiras agregações no ensino médio e na faculdade, usando o Excel. Enquanto eu cursava a faculdade, a pós-graduação e os 7 anos de experiência profissional, rapidamente peguei o...
Eu executei um modelo xgboost. Eu não sei exatamente como interpretar a saída de xgb.importance. Qual é o significado de ganho, cobertura e frequência e como os interpretamos? Além disso, o que significa% Split, RealCover e RealCover? Eu tenho alguns parâmetros extras aqui Existem outros...
Estou trabalhando no problema com muitos recursos e o treinamento dos meus modelos leva muito tempo. Eu implementei o algoritmo de seleção direta para escolher os recursos. No entanto, eu queria saber se o scikit-learn tem seleção direta / algoritmo de regressão
Costumava-se para os usuários de diferentes comunidades citar coisas engraçadas sobre seus campos. Pode ser divertido compartilhar suas coisas engraçadas sobre Machine Learning, Deep Learning, Data Science e as coisas que você enfrenta todos os
Eu tenho um quadro de dados do pandas com várias entradas e quero calcular a correlação entre a renda de algum tipo de loja. Existem várias lojas com dados de renda, classificação da área de atividade (teatro, lojas de roupas, alimentos ...) e outros dados. Tentei criar um novo quadro de dados e...
Eu já vi dois programas de certificação de ciência de dados - o John Hopkins, disponível no Coursera, e o Cloudera . Tenho certeza que existem outros por aí. O conjunto de classes de John Hopkins está focado no R como um conjunto de ferramentas, mas abrange uma variedade de tópicos: Programação...
Suponha que eu crie um NN para classificação. A última camada é uma camada densa com ativação softmax. Eu tenho cinco classes diferentes para classificar. Suponha que, para um único exemplo de treinamento, true labelseja [1 0 0 0 0]enquanto estiverem as previsões [0.1 0.5 0.1 0.1 0.2]. Como eu...
Li em algum lugar que, se tivermos recursos muito correlacionados, precisaremos remover um, pois isso pode piorar o modelo. É claro que recursos correlatos significam que eles trazem as mesmas informações; portanto, é lógico remover um deles. Mas não consigo entender por que isso pode piorar o...
Ainda estou confuso sobre a diferença entre Densee TimeDistributedDensede Keras, embora já existam algumas perguntas semelhantes feitas aqui e aqui . As pessoas estão discutindo muito, mas não há conclusões comuns. E mesmo assim, aqui , @fchollet afirmou que: TimeDistributedDenseaplica uma...
Quando digo "documento", tenho em mente páginas da web como artigos da Wikipedia e notícias. Prefiro respostas que ofereçam métricas de distância lexical de baunilha ou métricas de distância semântica de última geração, com maior preferência por essa
Do meu limitado interesse pela ciência de dados usando R, percebi que limpar dados ruins é uma parte muito importante da preparação de dados para análise. Existem práticas recomendadas ou processos para limpar dados antes de processá-los? Em caso afirmativo, existem ferramentas automatizadas ou...
No momento, estou tentando abrir um arquivo com pandas e python para fins de aprendizado de máquina. Seria ideal para todos eles em um DataFrame. Agora, o arquivo tem 18 GB de largura e minha RAM tem 32 GB, mas continuo recebendo erros de memória. De sua experiência é possível? Se você não conhece...
Como você pode programar na biblioteca keras (ou tensorflow) para particionar o treinamento em várias GPUs? Digamos que você esteja em uma instância do Amazon ec2 com 8 GPUs e que gostaria de usá-los para treinar mais rapidamente, mas seu código é apenas para uma única CPU ou...
Eu li sobre o NCE (uma forma de amostragem de candidatos) dessas duas fontes: Gravação de Tensorflow Papel original Alguém pode me ajudar com o seguinte: Uma explicação simples de como o NCE funciona (achei difícil analisar e entender o que foi dito acima, então seria ótimo algo intuitivo que...