Eu tenho tentado paralelizar o script a seguir, especificamente cada uma das três instâncias de loop FOR, usando o GNU Parallel, mas não consegui. Os 4 comandos contidos no loop FOR são executados em série, cada loop levando cerca de 10 minutos. #!/bin/bash kar='KAR5' runList='run2 run3...
Estou confuso sobre a diferença ou vantagem (se houver) de executar um conjunto de tarefas em um .shscript usandoGNU parallel Por exemplo , a resposta de Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png em vez de dizer repetindo-os, colocando-os em segundo plano &. Por exemplo , a...
Eu tenho um problema de script de shell no qual recebo um diretório cheio de arquivos de entrada (cada arquivo contém muitas linhas de entrada) e preciso processá-los individualmente, redirecionando cada uma de suas saídas para um arquivo exclusivo (também conhecido como file_1.input para ser...
Eu tenho usado um rsyncscript para sincronizar dados em um host com os dados em outro host. Os dados possuem vários arquivos de tamanho pequeno que contribuem para quase 1,2 TB. Para sincronizar esses arquivos, eu tenho usado o rsynccomando da seguinte maneira: rsync -avzm --stats...
Em um script maior para pós-processar alguns dados de simulação, eu tinha a seguinte linha: parallel bnzip2 -- *.bz2 O qual, se eu entendi parallelcorretamente (e talvez não), deve executar os threads n-core do programa em todos os arquivos com a extensão listada. Você pode perceber que eu...
Então, eu tenho um loop while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Mas isso pode levar muito tempo. Como eu usaria o GNU Parallel para esse loop
Estou carregando um arquivo gigantesco em um banco de dados postgresql. Para fazer isso, primeiro uso splitno arquivo para obter arquivos menores (30 GB cada) e, em seguida, carrego cada arquivo menor no banco de dados usando GNU Parallele psql copy. O problema é que leva cerca de 7 horas para...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Eu esperaria que a segunda linha aja da mesma
Eu gostaria de usar o recurso GNU paralelo, onde ele pode executar o comando e a lista que é alimentada em paralelo e cuspir depois que tudo estiver pronto, no entanto, não quero instalar o GNU paralelo em todos os nossos servidores. Ou talvez uma versão paralela de xargs? Existe uma...
Suponha que eu queira encontrar todas as correspondências no arquivo de texto compactado: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateusado aqui para medir a produtividade do tubo. Na minha máquina, são cerca de 420 Mb / s (após a descompressão). Agora estou tentando fazer...