Convertendo arquivos gzip para bzip2 eficientemente

Eu tenho um monte de arquivos gzip que tenho que converter para bzip2 de vez em quando. Atualmente, estou usando um script de shell que simplesmente 'gunzip' é cada arquivo e depois 'bzip2' é. Embora isso funcione, leva muito tempo para ser concluído.

É possível tornar esse processo mais eficiente? Estou pronto para mergulhar e analisar os códigos-fonte do gunzip e do bzip2, se necessário, mas só quero ter certeza do pagamento. Existe alguma esperança de melhorar a eficiência do processo?

Esta pergunta foi feita há muito tempo quando o pbzip2 não estava disponível ou não era capaz de compactar a partir do stdin, mas agora você pode paralelizar as etapas de descompactação e compactação usando o parallel e o pbzip2 (em vez do bzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

o que é significativamente mais rápido do que usar o bzip2 .

Em vez de fazer o gunzip em uma etapa e o bzip2 em outra, pergunto-me se talvez fosse mais eficiente usar tubos. Algo comogunzip --to-stdout foo.gz | bzip2 > foo.bz2

Estou pensando com duas ou mais CPUs, isso definitivamente seria mais rápido. Mas talvez até com apenas um núcleo. Eu vergonhosamente admito que não tentei isso, no entanto.

O paralelo GNU ( http://www.gnu.org/software/parallel ) pode ser uma opção se você tiver vários núcleos (ou até várias máquinas):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Leia a página tutorial / man para obter detalhes e opções.

O que você está fazendo atualmente é sua melhor aposta. Não existe uma ferramenta de conversão disponível, e tentar compactar com bzip2 um arquivo já compactado não é realmente uma opção, pois geralmente produz efeitos indesejados. Como o algoritmo é diferente, a conversão envolveria a recuperação dos dados originais, independentemente. A menos, é claro, que o gzipping tenha sido um passo no processo do bzip2, no qual infelizmente não é.

Ocasionalmente, preciso fazer o mesmo com arquivos de log. Começo com os menores arquivos * .gz primeiro ( ls -rS), gunzip e depois os bzip2 individualmente. Não sei se é possível direcionar a saída do gunzip diretamente para a entrada bzip2. O comando bzip2 é muito mais lento na compactação do que o gunzip está na descompressão que pode consumir a memória e trocar espaço no host.

Melhorias ou sugestões são bem-vindas. Aqui está o meu forro:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Se você tiver mais do que alguns, consulte o artigo do LJ com um bom script de shell.

http://linuxgazette.net/123/bechtel.html

O 7zip obtém uma melhor compactação e é multiencadeado.

Só tive que fazer isso alguns minutos atrás:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Onde rezipseria definido como:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

Opcionalmente, você também pode torná-lo multiencadeado usando uma -Popção com xargs, mas tenha cuidado com ela. (Comece baixo!)