Eu tenho um programa de modelagem e pontuação que faz uso pesado da DataFrame.isinfunção dos pandas, pesquisando nas listas de registros "like" do Facebook de usuários individuais para cada um dos milhares de páginas específicas. Essa é a parte que consome mais tempo do programa, mais do que as...
Qual é (são) as diferenças entre computação paralela e distribuída? Quando se trata de escalabilidade e eficiência, é muito comum ver soluções que lidam com cálculos em clusters de máquinas e, às vezes, é chamado de processamento paralelo ou processamento distribuído. De certa maneira, o cálculo...
Trabalhando no que geralmente pode ser chamado de projetos de "dados médios", consegui paralelizar meu código (principalmente para modelagem e previsão em Python) em um único sistema, em qualquer lugar de 4 a 32 núcleos. Agora, estou analisando o dimensionamento de clusters no EC2 (provavelmente...
Atualmente, estou escrevendo um artigo sobre Big Data, que utiliza R fortemente para análise de dados. Por acaso tenho um GTX1070 no meu pc por motivos de jogos. Assim, achei que seria muito legal se eu pudesse usar isso para acelerar parte do processamento de algumas das coisas que meus...
Estou trabalhando no modelo Seq2Seq usando LSTM da Keras (usando o Theano background) e gostaria de paralelizar os processos, porque poucos MBs de dados precisam de várias horas para treinamento. É claro que as GPUs são muito melhores em paralelismo do que as CPUs. No momento, só tenho CPUs para...