Maior compactação de arquivos (para transferência pela web)?

Eu vi alguns arquivos altamente compactados ao redor, como 700MB de dados compactados para cerca de 30-50MB.

Mas como você obtém esses arquivos compactados? Eu tentei usar software como WinRAR e 7Zip, mas nunca consegui uma compressão tão alta.

Quais são as técnicas / software que permitem compactar arquivos tão bem?

(PS estou usando o Windows XP)

Se o tempo necessário para compactar os dados não for um problema, você poderá otimizar o tamanho compactado usando várias ferramentas diferentes.

Comprimir os dados várias vezes usando diferentes ferramentas como 7zip, winrar (para zip) e bjwflate.

(Observe que isso não significa compactar o arquivo zip repetidamente, mas sim criar vários arquivos zip alternativos usando ferramentas diferentes)

Em seguida, execute deflopt em cada arquivo para reduzir cada arquivo um pouco mais.

Finalmente, execute zipmix na coleção de arquivos. Como diferentes ferramentas zip são melhores em arquivos diferentes, o zipmix escolhe a melhor versão compactada de cada arquivo de cada um dos arquivos e produz uma saída menor do que qualquer uma das ferramentas zip produzidas individualmente.

Você deve observar, no entanto, que não é garantido que ele funcione com qualquer tipo de mágica em seus arquivos. Certos tipos de dados simplesmente não são muito compactados, como JPEGs e MP3s. Esses arquivos já estão compactados internamente.

Isso depende inteiramente dos dados que estão sendo compactados.

Texto comprime muito bem, formatos binários não tão bem e dados compactados (mp3, jpg, mpeg) não em todos.

Aqui está uma boa tabela de comparação de compressão da wikipedia.

As respostas anteriores estão erradas por uma ordem de grandeza!

O melhor algoritmo de compactação com o qual tenho experiência pessoal é paq8o10t (consulte a página zpaq e PDF ).

Dica: o comando para compactar files_or_folders seria como:

paq8o10t -5 archive files_or_folders

Fonte: Utilitário de Backup de Diário Incremental e Archiver

Você pode encontrar um espelho do código-fonte no GitHub .

Um algoritmo de compressão um pouco melhor, e vencedor do Prêmio Hütter, é decomp8 (veja link na página do prêmio). No entanto, não há nenhum programa compressor que você possa realmente usar.

Para arquivos realmente grandes, o lrzip pode atingir taxas de compressão que são simplesmente cômicas .

Um exemplo de README.benchmarks:

Vamos levar seis árvores do kernel com uma versão à parte como tarball, linux-2.6.31 para linux-2.6.36. Eles mostrarão muitas informações redundantes, mas com centenas de megabytes de distância, o que o lrzip será muito bom para compactar. Para simplificar, apenas 7z serão comparados, pois é de longe o melhor compressor de uso geral no momento:

Estes são benchmarks realizados em um Intel Core2 dual core de 2.53Ghz com 4GB de RAM usando o lrzip v0.5.1. Observe que ele estava sendo executado com um espaço do usuário de 32 bits, de forma que apenas o endereçamento de 2 GB era possível. No entanto, o benchmark foi executado com a opção -U, permitindo que o arquivo inteiro seja tratado como uma grande janela de compactação.

Tarball de 6 árvores de kernel consecutivas.

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s

O Squeezechart.com contém comparações de várias taxas de compactação. Embora, como afirma a resposta da Nifle, é improvável que você obtenha taxas de compactação tão altas para os formatos binários.

A maioria das ferramentas de compactação possui configurações para permitir que você atinja uma taxa de compactação mais alta, comprometendo tempos de compactação / descompactação mais lentos e mais uso de RAM.

Para o 7-Zip, procure por "Adicionar à caixa de diálogo Arquivo" na ajuda integrada para obter mais detalhes.

Você pode tentar 7zip com as seguintes configurações ultra:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql

Basta verificar o Resumo dos vários testes de benchmark de compactação de arquivos que têm a melhor lista de compactação que consiste no benchmark completo de compactação.

Top 30

Top performers (baseados em compressão) neste teste são PAQ8 e WinRK (PWCM). Eles são capazes de comprimir o conjunto de teste de 300 + Mb para menos de 62 Mb (redução de 80% no tamanho), mas levar um mínimo de 8,5 horas para concluir o teste. O programa número um (PAQ8P) leva quase 12 horas e o número quatro (PAQAR) até 17 horas para concluir o teste. WinRK, o programa com a segunda melhor compressão (79,7%) leva cerca de 8,5 horas. Não é de surpreender que todos os programas mencionados façam uso de um mecanismo PAQ (semelhante a) para a compactação. Se você tiver arquivos com imagens incorporadas (por exemplo, arquivos DOC do Word), use o PAQ8, ele os reconhecerá e os compactará separadamente, aumentando significativamente a compactação. Todos os programas mencionados (exceto o WinRK) são gratuitos.

Sua melhor aposta aqui parece ser tentativa e erro. Experimente todas as suas técnicas de compactação disponíveis em cada arquivo e escolha o melhor para colocar em seu site. Felizmente, os computadores fazem esse tipo de coisa bem rápido e não ficam entediados. Você poderia escrever um script simples para automatizar o processo para que ele fosse "relativamente indolor".

Só não espere milagres - 700 mb até 30 mb simplesmente não acontecem com tanta frequência. Arquivos de log como mencionado acima - sim. "Seu arquivo médio" - de jeito nenhum.

O Nanozip parece ter a maior compactação junto com o FreeArc. Mas ainda não está na versão final. Existe uma boa compressão do Nanozip . Ele tem uma compactação muito alta e não leva muito tempo, verifique o Resumo dos testes de benchmark de compactação de vários arquivos , mas o FreeArc é mais rápido.