Perguntas com a marcação «parallelism»

Há uma lista de endereços IP em um arquivo .txt, por exemplo: 1.1.1.1 2.2.2.2 3.3.3.3 Por trás de cada endereço IP, há um servidor e em cada servidor existe um sshd em execução na porta 22. Nem todos os servidores estão na known_hostslista (no meu PC, Ubuntu 10.04 LTS / bash). Como posso...

Estou usando o processador quad freescale IMX6. Quero saber se o topcomando lista o uso da CPU de todos os 4 núcleos ou de um único núcleo. Estou vendo o uso da CPU de um aplicativo ser o mesmo com 4 núcleos e com um único núcleo. Eu estava imaginando que o uso da CPU pelo aplicativo aumentaria em...

Preciso fazer o download de um arquivo grande (1 GB). Também tenho acesso a vários computadores executando o Linux, mas cada um é limitado a uma velocidade de download de 50kB / s por uma política de administrador. Como distribuo o download desse arquivo em vários computadores e os mesclo após o...

Eu tenho uma pasta que tem mais de 250 arquivos de 2 GB cada. Preciso procurar uma string / padrão nesses arquivos e gerar o resultado em um outputarquivo. Eu sei que posso executar o seguinte comando, mas é muito lento! grep mypattern * > output Eu quero acelerar isso. Sendo um programador...

Existe alguma ferramenta / comando no Linux que eu possa usar para executar um comando em mais de uma guia simultaneamente? Eu quero executar o mesmo comando: ./myprog argument1 argument2simultaneamente em mais de um shell para verificar se os mutexes estão funcionando bem em um programa encadeado....

Eu quero compilar o mais rápido possível. Vai saber. E gostaria de automatizar a escolha do número após a -jopção. Como escolher programaticamente esse valor, por exemplo, em um script de shell? A saída é nprocequivalente ao número de threads que tenho disponível para compilar? make -j1 make...

Sob a suposição de que a E / S do disco e a RAM livre são um gargalo (embora o tempo da CPU não seja a limitação), existe uma ferramenta que pode calcular vários resumos de mensagens de uma só vez? Estou particularmente interessado em calcular os resumos MD-5 e SHA-256 de arquivos grandes (tamanho...

Eu tenho um monte de imagens PNG em um diretório. Eu tenho um aplicativo chamado pngout que eu corro para compactar essas imagens. Este aplicativo é chamado por um script que eu fiz. O problema é que esse script executa um de cada vez, algo como isto: FILES=(./*.png) for f in "${FILES[@]}" do...

Suponha que eu tenho três (ou mais) scripts bash: script1.sh, script2.sh, e script3.sh. Gostaria de chamar todos esses três scripts e executá-los em paralelo . Uma maneira de fazer isso é apenas executar os seguintes comandos: nohup bash script1.sh & nohup bash script2.sh & nohup bash...

Eu tenho um problema de script de shell no qual recebo um diretório cheio de arquivos de entrada (cada arquivo contém muitas linhas de entrada) e preciso processá-los individualmente, redirecionando cada uma de suas saídas para um arquivo exclusivo (também conhecido como file_1.input para ser...

Estou usando xargscom a opção --max-args=0(como alternativa -P 0). No entanto, a saída dos processos é mesclada no stdoutfluxo sem levar em consideração a separação de linha adequada. Então, muitas vezes acabo com linhas como: <start-of-line-1><line-2><end-of-line-1> Como eu...

Eu tenho um script de shell bash no qual canalizo alguns dados por cerca de 5 ou 6 programas diferentes e, em seguida, os resultados finais em um arquivo delimitado por tabulação. Em seguida, faço o mesmo novamente para um conjunto de dados semelhante separado e saio para um segundo arquivo. Em...

Considere o seguinte cenário. Eu tenho dois programas A e B. O programa A produz saídas padrão de linhas de strings enquanto o programa B processa linhas de stdin. A maneira de usar esses dois programas é obviamente: foo @ bar: ~ $ A | B Agora notei que isso consome apenas um núcleo; por isso...

Posso ssh em uma máquina remota com 64 núcleos. Digamos que eu precise executar 640 scripts de shell em paralelo nesta máquina. Como eu faço isso? Eu posso ver dividindo os 640 scripts em 64 grupos, cada um dos 10 scripts. Como eu executaria cada um desses grupos em paralelo , ou seja, um grupo em...

Encontrei apenas puf (Buscador de URLs paralelo), mas não consegui ler URLs de um arquivo; algo como puf < urls.txt também não funciona. O sistema operacional instalado no servidor é o

Suponha que eu tenha dois recursos, nomeados 0e 1, que só podem ser acessados ​​exclusivamente. Existe alguma maneira de recuperar o "índice" do "processador paralelo" que é xargsiniciado para usá-lo como um serviço de exclusão mútua gratuito? Por exemplo, considere a seguinte computação...

Eu tenho uma tarefa que processa uma lista de arquivos no stdin. O tempo de inicialização do programa é substancial e a quantidade de tempo que cada arquivo leva varia muito. Quero gerar um número substancial desses processos e depois enviar o trabalho para os que não estiverem ocupados. Existem...

Eu tenho três tipos de dados que estão em formatos diferentes; para cada tipo de dado, existe um script Python que o transforma em um único formato unificado. Esse script Python é lento e vinculado à CPU (para um único núcleo em uma máquina com vários núcleos), então eu quero executar três...

No momento, estou tendo problemas com a ddchamada de um arquivo esparso como input ( if) e um arquivo como output ( of) com conv=sparse. ddparece estar usando apenas um núcleo da CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 núcleos + 4 Intel Hyperthreads) (100% de 1 núcleo), por isso fiquei...

Eu sei que na linha de comando eu posso usar &para executar um comando em segundo plano. Mas estou pensando se posso fazer isso em um script. Eu tenho um script como este: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh...