Programa de compactação de arquivos mais eficiente para muitos arquivos idênticos?

12

Estou fazendo um backup do meu trabalho e estou procurando um programa que possa comprimir arquivos com mais eficiência. O programa de compactação padrão do Windows funciona bem, mas não funciona como "inteligente" como eu gostaria.

Meus arquivos são basicamente instantâneos inteiros do meu trabalho tirados nos últimos meses, enquanto faço meus backups completos regulares. nem muitas mudanças entre os backups e muitos arquivos são simplesmente cópias um do outro.

Todo o meu conjunto de arquivos tem aproximadamente 15 GB não compactado, enquanto os backups de instantâneo individuais (compactados usando programas de compactação padrão) têm aproximadamente 150 a 200 MB cada (eles geralmente aumentam de tamanho com datas mais recentes). O tamanho total de todos os instantâneos compactados é de cerca de 3 GB. Devido à natureza dos arquivos, espero que um programa de compactação "inteligente" reduza todo o volume para cerca de 400 a 500 MB, ou seja, levando em consideração ineficiências razoáveis ​​e espaço extra para compactar as diferenças nos arquivos.

Existe um programa de compactação que aproveite o fato de muitos arquivos serem idênticos para obter uma taxa de compactação muito maior do que o programa de compactação padrão do Windows?

Obrigado -Faken

Editar: Acabou a melhor compactação de todo o volume usando a compactação padrão do Windows. É apenas 10 MB melhor que os snapshots compactados combinados. Na minha opinião, é inaceitável conhecer a natureza dos arquivos.

ChrisF
fonte
Em que versão do Windows?
John T
1
Heh, sua vista ...
3
Não seria melhor mudar para o controle de versão em vez desses backups? Estou usando o git também para arquivos binários e funciona muito bem. Eu não acho que poderia compactá-lo tão bom quanto 7z, mas isso importa se leva 150 MB ou 300 MB? Se não, eu iria para o fácil de usar e flexibilidade.
Maaartinus 14/03

Respostas:

18

O 7-zip suporta compactação sólida, se bem me lembro, por isso deve compactar muitos arquivos quase idênticos muito bem.

T. Kaltnekar
fonte
2
+1 e considere o formato 7z padrão .
Nik
Vou tentar, vou voltar para você com os resultados.
2
Após 1 hora de compactação nas configurações mais altas, obtive um tamanho de arquivo de 133MB. Isso é muito impressionante! Minha estimativa agressiva original (que não afirmei) era de um tamanho de arquivo de cerca de 150 MB (isso se opõe à minha estimativa conservadora declarada de 400 a 500 MB). Parece que vou converter para 7z a partir de agora!
Mesmo se você precisar seguir o formato Zip padrão, o 7-zip terá um rendimento melhor do que outras ferramentas de compressão populares (WinRAR, WinZip) com a configuração de maior eficiência.
christophem
7 zip é literalmente uma das primeiras ferramentas que coloquei em uma nova caixa. É muito útil.
corsiKa
6

Eu fiz alguns testes no aspecto de "arquivos idênticos", como mencionado na pergunta, usando o 7-zip (versão 9.20), pois ninguém ainda deu uma resposta elaborada sobre isso. Isso deu alguns resultados interessantes. Eu testei com 10 cópias do arquivo que esses sites usam para a mensagem de página não encontrada . Este arquivo não compactará muito bem como um arquivo individual, sendo um arquivo jpg. Portanto, demonstrará a eficiência da compactação de vários arquivos idênticos. O tamanho do arquivo é de 37 KB.

  1. Quando comprimo todas as dez cópias, usando o formato zip, o tamanho do arquivo é 367 KB, com um tamanho compactado de cerca de 99% do tamanho total original dos 10 arquivos.
  2. Quando comprimo todas as dez cópias, usando o formato 7z, o tamanho do arquivo é 37 KB, com um tamanho compactado de cerca de 101% de apenas um dos arquivos originais.
  3. Se eu primeiro colocar 5 cópias em um arquivo 7-z e adicionar 3 e, finalmente, 2 cópias em etapas separadas, o tamanho do arquivo se tornará 111 KB, aproximadamente três vezes o tamanho de um único arquivo original.

Se eu abrir o terceiro arquivo, uma das propriedades é Bloquear . Isso lista 0, 1 e 2 para 3, 5 e 2 dos arquivos, respectivamente.

Observações:

  1. O formato zip compactará cada arquivo individualmente, não beneficiando da possibilidade de compactar com eficiência arquivos idênticos.
  2. O formato 7z compactará com eficiência vários arquivos idênticos, desde que sejam adicionados ao arquivo em uma única etapa.

Conclusões:

  1. Para uma ótima compactação de arquivos, use 7z em vez de zip.
  2. A compactação pode melhorar drasticamente, se você não adicionar arquivos a um arquivo 7z existente, mas primeiro descompactá-lo e compactá-lo novamente, incluindo os novos arquivos, em uma única etapa.
R. Schreurs
fonte
1

O Windows Vista vem com o Centro de Backup e Restauração . Ele fará backups incrementais de seus arquivos para evitar desperdiçar espaço e ter que criar vários backups. Na página vinculada:

As versões dos arquivos com backup anterior usam apenas um mínimo de espaço em disco. Se apenas uma pequena parte de um arquivo for alterada (como um slide de uma apresentação), apenas essa parte será rastreada e salva.

John T
fonte
1

O 7-zip possui um dos melhores algoritmos de compactação existentes. Não acredito que exista atualmente algo que supere o 7-zip na compressão (algoritmo) até agora.

Urso mal-humorado
fonte