Dividir arquivos usando tar, gz, zip ou bzip2 [fechado]

Preciso compactar um arquivo grande de cerca de 17 a 20 GB. Eu preciso dividi-lo em vários arquivos de cerca de 1 GB por arquivo.

Procurei uma solução via Google e encontrei maneiras de usar splite catcomandos. Mas eles não funcionaram para arquivos grandes. Além disso, eles não funcionarão no Windows; Eu preciso extraí-lo em uma máquina Windows.

Você pode usar o splitcomando com a -bopção:

split -b 1024m file.tar.gz

Ele pode ser remontado em uma máquina Windows usando a resposta de @ Joshua .

copy /b file1 + file2 + file3 + file4 filetogether

Edit : Como @Charlie afirmou no comentário abaixo, convém definir um prefixo explicitamente, pois ele será usado de xoutra forma, o que pode ser confuso.

split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

Edit : Editando a postagem porque a pergunta está fechada e a solução mais eficaz está muito próxima do conteúdo desta resposta:

# create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

Esta solução evita a necessidade de usar um arquivo grande intermediário ao (des) compactar. Use a opção tar -C para usar um diretório diferente para os arquivos resultantes. btw se o archive consistir em apenas um arquivo, o tar pode ser evitado e apenas o gzip usado:

# create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

Para o Windows, você pode baixar versões portadas dos mesmos comandos ou usar o cygwin.

Se você estiver se separando do Linux, ainda poderá remontar no Windows.

copy /b file1 + file2 + file3 + file4 filetogether

use tar para dividir em vários arquivos

Existem muitos programas que funcionarão com arquivos tar no Windows, incluindo o cygwin.

Código testado, cria inicialmente um único arquivo morto e depois o divide:

 gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

Essa variante omite a criação de um único arquivo e vai direto para a criação de partes:

gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

Nesta variante, se o tamanho do arquivo do arquivo for divisível por $CHUNKSIZE, o último arquivo parcial terá o tamanho de 0 bytes.