Suponha que eu tenha uma matriz numpy grande de memória, que tenha uma função funcque aceite essa matriz gigante como entrada (junto com alguns outros parâmetros). funccom parâmetros diferentes pode ser executado em paralelo. Por exemplo: def func(arr, param): # do stuff to arr, param # build...
Eu tenho um pequeno problema com um dos meus projetos. Tenho tentado encontrar um exemplo bem documentado de uso de memória compartilhada, fork()mas sem sucesso. Basicamente, o cenário é que quando o usuário inicia o programa, eu preciso armazenar dois valores na memória compartilhada:...
Eu tenho um 60GB SciPy Array (Matrix) que devo compartilhar entre 5+ multiprocessing Processobjetos. Eu vi numpy-sharedmem e li essa discussão na lista SciPy. Parece haver duas abordagens - numpy-sharedmeme usando multiprocessing.RawArray()ae mapeando NumPy dtypes para ctypes. Agora,...
Freqüentemente, preciso aplicar uma função aos grupos de um muito grande DataFrame(de tipos de dados mistos) e gostaria de tirar proveito de vários núcleos. Posso criar um iterador a partir dos grupos e usar o módulo de multiprocessamento, mas não é eficiente porque cada grupo e os resultados...
Criei um aplicativo que também pode ser executado como um serviço (usando uma -serviceopção). Isso funciona perfeitamente sem problemas quando estou executando o serviço em um prompt de comando (eu tenho algo configurado que permite depurá-lo em um console quando não estou sendo executado como um...