Como executar processos paralelos e combinar saídas quando ambos terminarem

Eu tenho um script de shell bash no qual canalizo alguns dados por cerca de 5 ou 6 programas diferentes e, em seguida, os resultados finais em um arquivo delimitado por tabulação.

Em seguida, faço o mesmo novamente para um conjunto de dados semelhante separado e saio para um segundo arquivo.

Em seguida, os dois arquivos são inseridos em outro programa para análise comparativa. por exemplo, para simplificar

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

Minha pergunta é: como posso executar as etapas 1 e 2 ao mesmo tempo (por exemplo, usando &), mas apenas inicio a etapa3 (AnalysisProg) quando ambas estiverem concluídas?

valeu

ps O AnalysisProg não funcionará em um fluxo ou em um fifo.

Use wait. Por exemplo:

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

vai:

• executar os pipes Data1 e Data2 como trabalhos em segundo plano
• espere que ambos terminem
• execute o AnalysisProg.

Veja, por exemplo, esta pergunta .

A resposta da cxw é sem dúvida a solução preferível, se você tiver apenas 2 arquivos. Se os 2 arquivos são apenas exemplos e, na realidade, você possui 10000 arquivos, a solução '&' não funcionará, pois isso sobrecarregará o servidor. Para isso, você precisa de uma ferramenta como o GNU Parallel:

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

Para saber mais sobre o GNU Parallel:

• Assista ao vídeo de introdução para uma rápida introdução: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Percorra o tutorial (man paralelo_tutorial). Você linha de comando vai te amar por isso.

Uma maneira de fazer isso pode ser algo como:

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

Dessa maneira, você coloca em segundo plano os dois pipelines, mas ainda espera que eles concluam a execução antes de combinar sua saída no stdin, que é avaliada em um documento aqui e entregue ao AnalysisProg. Se você pode usar waitisso, é ainda melhor que o while psloop, mas, dependendo do shell, waitpode se opor se você o instruir a aguardar um processo que não é filho do shell atual.

Observe também que o método acima agrupará a saída - portanto, os dois processos serão gravados de uma só vez. Se você os quisesse separados ou anexou um ao outro, possivelmente poderia:

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

Eu já demonstrei esses conceitos antes. Provavelmente as melhores demos estão aqui e aqui .

Tente usar isso.

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done