extrair um único arquivo de um enorme arquivo tgz

Eu tenho um arquivo tar enorme (cerca de 500G) e não quero extrair apenas um único arquivo dele.
No entanto, quando executo tar -xvf file.tgz path/to/file, parece que ele ainda está carregando todo o conteúdo na memória e leva mais de uma hora para extrair. Também tentei usar --exclude=ignore.txtonde ignore.txt é uma lista de padrões, na tentativa de impedi-lo de percorrer caminhos fúteis, mas isso não parece funcionar.

Talvez eu não entenda o tar ... Existe uma maneira de extrair rapidamente o arquivo?

Infelizmente, para descompactar um único membro do .tar.gzarquivo, é necessário processar o arquivo inteiro e não há muito o que fazer para corrigi-lo.

É aqui que .zip(e alguns outros formatos como .rar) os arquivos funcionam muito melhor, porque o zipformato possui um diretório central de todos os arquivos contidos nele, com deslocamentos diretos apontando para o meio do ziparquivo, para que os membros do arquivo possam ser rapidamente extraídos sem processar tudo.

Você pode perguntar por que o processamento .tar.gzé tão lento?

.tar.gz(geralmente abreviado como .tgz) é simplesmente um .tararquivo compactado com gzipcompressor. gzipé um compressor de streaming que só pode funcionar com um arquivo. Se você deseja obter qualquer parte do gzipfluxo, você tem que descompactá-lo como um todo, e isso é o que realmente mata-lo para .tar.gz(e para .tar.bz2, .tar.xze outros formatos semelhantes com base em .tar).

.tarformato é realmente muito, muito simples. É simplesmente um fluxo de cabeçalhos de arquivo ou diretório de 512 bytes (nome, tamanho, etc.), cada um seguido pelo conteúdo do arquivo ou diretório (preenchido para o tamanho de 512 blocos com 0 bytes, se necessário). Quando você observa um bloco 512 totalmente nulo para um cabeçalho, isso significa o fim do .tararquivo morto.

Algumas pessoas pensam que mesmo os .tarmembros do arquivo não podem ser acessados ​​rapidamente, mas isso não é bem verdade. Se o .tararchive contiver poucos arquivos grandes, você poderá procurar rapidamente o próximo cabeçalho e, assim, poderá encontrar o membro do archive necessário em poucas buscas (mas ainda poderá exigir tantas buscas quanto os membros do archive). Se o seu .tararquivo contém muitos arquivos pequenos, isso significa que a recuperação rápida de membros se torna efetivamente impossível, mesmo para descompactados .tar.

Se você está extraindo apenas um arquivo de um grande arquivo tar, você está usando GNU tar, e você pode garantir que o arquivo tar nunca foi anexado ao então você pode obter um ganho significativo de performance usando --occurrence.

Esta opção diz ao tar para parar assim que encontrar a primeira ocorrência de cada arquivo solicitado, portanto, por exemplo

tar xf large-backup.tar --occurrence etc/passwd etc/shadow

não passará por todo o tarball depois de encontrar uma cópia de cada um passwde shadow, em vez disso, parará. Se esses arquivos aparecerem perto do fim, o ganho de desempenho não será muito grande, mas se aparecerem na metade de um arquivo 500G, você economizará muito tempo.

Para pessoas que usam tarbackups de captura única e não usam unidades de fita reais, essa situação é provavelmente o caso típico.

Note que você também pode passar --occurrence=NUMBERpara recuperar a ocorrência NUMBERth de cada arquivo, o que ajuda se você sabe que lá estão várias versões do arquivo. Por padrão, o comportamento é igual a NUMBER1.

Infelizmente, o formato do arquivo tar não contém um índice centralizado - portanto, o arquivo deve ser lido sequencialmente para localizar um arquivo específico. Ele foi originalmente projetado para backups em fita ( "tar" vem de t macaco ar cebolinha), que não teria apoiado uma tal operação, em qualquer caso.

Então, você provavelmente terá que esperar.

Ao lidar com um grande uso de tarball:

--fast-readextrair apenas a primeira entrada do arquivo que corresponde ao operando do nome do arquivo, path/to/fileneste caso - que é sempre único no tarball de qualquer maneira

tar -xvf file.tgz --fast-read path/to/file

o acima irá procurar até encontrar uma correspondência e sair