Muitas pessoas usam o termo big data de maneira bastante comercial , como um meio de indicar que grandes conjuntos de dados estão envolvidos na computação e, portanto, as soluções em potencial devem ter um bom desempenho. Obviamente, o big data sempre carrega termos associados, como escalabilidade...
Eu tenho um programa de modelagem e pontuação que faz uso pesado da DataFrame.isinfunção dos pandas, pesquisando nas listas de registros "like" do Facebook de usuários individuais para cada um dos milhares de páginas específicas. Essa é a parte que consome mais tempo do programa, mais do que as...
Com toda a confusão em torno da ciência de dados, aprendizado de máquina e todas as histórias de sucesso, existem muitas expectativas justificadas e superinflacionadas dos cientistas de dados e de seus modelos preditivos. Minha pergunta para os estatísticos, especialistas em aprendizado de máquina...
Quando um banco de dados relacional, como o MySQL, tem melhor desempenho do que um não relacional, como o MongoDB? Outro dia vi uma pergunta no Quora, sobre por que o Quora ainda usa o MySQL como back-end e se o desempenho deles ainda é
Atualmente, estou usando vários classificadores diferentes em várias entidades extraídas do texto e usando precisão / recall como um resumo de quão bem cada classificador separado é executado em um determinado conjunto de dados. Gostaria de saber se existe uma maneira significativa de comparar o...
precisão é a fração de instâncias recuperadas relevantes, enquanto recall (também conhecido como sensibilidade) é a fração de instâncias relevantes recuperadas. Eu sei o significado delas, mas não sei por que isso se chama recall ? Eu não sou falante nativo de inglês. Eu sei que recordar...
Qualquer pequeno processamento de banco de dados pode ser facilmente enfrentado por scripts Python / Perl / ..., que usam bibliotecas e / ou utilitários da própria linguagem. No entanto, quando se trata de desempenho, as pessoas tendem a buscar linguagens C / C ++ / de baixo nível. A possibilidade...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Existem várias abordagens de seleção de características / seleção de variáveis (ver, por exemplo, Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): métodos de filtro (por exemplo, baseado em correlação, entropia e importância aleatória da floresta), métodos de invólucro (por exemplo, pesquisa...
Eu tenho um conjunto de dados com 19 colunas e cerca de 250k linhas. Eu trabalhei com conjuntos de dados maiores, mas desta vez o Pandas decidiu brincar com meus nervos. Tentei dividir o conjunto de dados original em 3 subframes com base em algumas regras simples. No entanto, leva muito tempo para...
Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, podemos...
Eu me pergunto por que o treinamento de RNNs normalmente não usa 100% da GPU. Por exemplo, se eu executar esse benchmark RNN em um Maxwell Titan X no Ubuntu 14.04.4 LTS x64, a utilização da GPU será inferior a 90%: O benchmark foi lançado usando o comando: python rnn.py -n 'fastlstm' -l 1024...
Eu usei a técnica smote para exagerar o meu conjunto de dados e agora tenho um conjunto de dados equilibrado. O problema que enfrentei é que as métricas de desempenho; precisão, rechamada, medida f1, precisão no conjunto de dados desequilibrado são melhor executadas do que com o conjunto de dados...
Entendo que os modelos são tão bons quanto os dados que você obtém, e o design incorreto pode gerar dados realmente ruins. Amostras não aleatórias, projetos desequilibrados / incompletos, confusos, podem dificultar a análise dos dados. Em que ponto devemos confiar que eles executaram um modelo...