Acabei de fazer um pequeno experimento em que criei um arquivo tar com arquivos duplicados para ver se ele seria compactado, para minha admiração, não era! Detalhes a seguir (resultados recuados para o prazer de ler):

$ dd if=/dev/urandom bs=1M count=1 of=a
  1+0 records in
  1+0 records out
  1048576 bytes (1.0 MB) copied, 0.114354 s, 9.2 MB/s
$ cp a b
$ ln a c
$ ll
  total 3072
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 a
  -rw-r--r-- 1 guido guido 1048576 Sep 24 15:51 b
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 c
$ tar -c * -f test.tar
$ ls -l test.tar 
  -rw-r--r-- 1 guido guido 2109440 Sep 24 15:51 test.tar
$ gzip test.tar 
$ ls -l test.tar.gz 
  -rw-r--r-- 1 guido guido 2097921 Sep 24 15:51 test.tar.gz
$ 

Primeiro, criei um arquivo de 1MiB de dados aleatórios (a). Depois copiei para um arquivo be também vinculei-o a c. Ao criar o tarball, o tar aparentemente estava ciente do hardlink, já que o tarball tinha apenas ~ 2MiB e não ~ 3Mib.

Agora eu esperava que o gzip reduzisse o tamanho do tarball para ~ 1MiB, já que aeb são duplicados, e deveria haver 1MiB de dados contínuos repetidos dentro do tarball, mas isso não ocorreu.

Por que é isso? E como eu poderia comprimir o tarball com eficiência nesses casos?

Gzip O gzip é baseado no algoritmo DEFLATE, que é uma combinação da codificação LZ77 e Huffman. É um algoritmo de compactação de dados sem perdas que funciona transformando o fluxo de entrada em símbolos compactados usando um dicionário construído on-the-fly e procurando duplicatas. Mas não consegue encontrar duplicatas separadas por mais de 32K. Esperar que ele localize duplicatas com 1 MB de distância não é realista.

Nicole Hamilton nota corretamente que gzipnão encontrará dados duplicados distantes devido ao seu pequeno tamanho de dicionário.

bzip2 é semelhante, porque está limitado a 900 KB de memória.

Em vez disso, tente:

Algoritmo LZMA / LZMA2 ( xz, 7z)

O algoritmo LZMA está na mesma família que Deflate, mas usa um tamanho de dicionário muito maior (personalizável; o padrão é algo como 384 MB). O xzutilitário, que deve ser instalado por padrão nas distribuições Linux mais recentes, é semelhante ao gzipe usa LZMA.

Como o LZMA detecta redundância de longo alcance, ele pode deduplicar seus dados aqui. No entanto, é mais lento que o Gzip.

Outra opção é o 7-zip ( 7z, no p7zippacote), que é um arquivador (em vez de um compressor de fluxo único) que usa o LZMA por padrão (escrito pelo autor do LZMA). O arquivador 7-zip executa sua própria desduplicação no nível do arquivo (observando arquivos com a mesma extensão) ao arquivar em seu .7zformato. Isto significa que se você está disposto a substituir tarcom 7z, você tem arquivos idênticos desduplicados. No entanto, o 7z não preserva timestamps, permissões ou xattrs em nanossegundos, portanto, pode não atender às suas necessidades.

lrzip

lrzipé um compressor que processa previamente os dados para remover a redundância de longa distância antes de alimentá-los com um algoritmo convencional como Gzip / Deflate, bzip2, lzop ou LZMA. Para os dados de amostra que você fornece aqui, não é necessário; é útil quando os dados de entrada são maiores do que o que pode caber na memória.

Para esse tipo de dados (blocos incompressíveis duplicados), você deve usar a lzopcompactação (muito rápido) com lrzip, porque não há nenhum benefício em se esforçar mais para compactar dados completamente aleatórios depois de deduplicados.

Bup e Obnam

Como você marcou o backup da pergunta , se seu objetivo aqui é fazer backup de dados, considere usar um programa de backup com desduplicação como Bup ou Obnam .

No caso de um backup, possivelmente com um amplo conjunto de arquivos menores, um truque que pode funcionar para você é classificar os arquivos no tar por extensão:

find archive_dir -type f | rev | sort | rev | tar czf my_archive.tar.gz -I -

gzipnão encontrará duplicatas, mesmo xzcom um tamanho enorme de dicionário. O que você pode fazer é usar mksquashfs- isso economizará o espaço de duplicatas.

Alguns resultados rápidos de testes com xze mksquashfscom três arquivos binários aleatórios (64 MB), dos quais dois são iguais:

Configuração:

mkdir test
cd test
dd if=/dev/urandom of=test1.bin count=64k bs=1k
dd if=/dev/urandom of=test2.bin count=64k bs=1k
cp test{2,3}.bin
cd ..

Squashfs:

mksquashfs test/ test.squash
> test.squash - 129M

xz:

XZ_OPT='-v --memlimit-compress=6G --memlimit-decompress=512M --lzma2=preset=9e,dict=512M --extreme -T4 ' tar -cJvf test.tar.xz test/
> test.tar.xz - 193M

No meu sistema, lzma test.tarresulta em um arquivo test.tar.lzma de 106'3175 bytes (1,1M)

Como complemento à resposta do 'caracol mecânico:

Mesmo xz (ou lzma) não encontrará duplicatas se o tamanho do arquivo único não compactado (ou, mais precisamente, a distância entre as duplicatas) exceder o tamanho do dicionário. xz (ou lzma), mesmo na configuração mais alta, -9ereserva apenas 64 MB para isso.

Felizmente, você pode especificar seu próprio tamanho dictonário com a opção --lzma2=dict=256MB (somente --lzma1=dict=256MBé permitida ao usar o alias lzma no comando)

Infelizmente, ao substituir as configurações por cadeias de compactação personalizadas, como fornecido no exemplo acima, os valores padrão para todos os outros parâmetros não são definidos no mesmo nível que com -9e. Portanto, a densidade de compactação não é tão alta para arquivos únicos.

O gzip sem opções de linha de comando usa o algoritmo mais baixo possível para compactação.

Tente usar:

gzip -9 test.tar

Você deve obter melhores resultados