Existe uma maneira de ver algum progresso de tar por arquivo?

Eu tenho alguns arquivos grandes que gostaria de compactar. Eu posso fazer isso com, por exemplo

tar cvfj big-files.tar.bz2 folder-with-big-files

O problema é que eu não consigo ver nenhum progresso, então não tenho idéia de quanto tempo levará ou algo assim. Usando vposso ver pelo menos quando cada arquivo é concluído, mas quando os arquivos são poucos e grandes, isso não é o mais útil.

Existe uma maneira de obter alcatrão para mostrar um progresso mais detalhado? Como uma porcentagem feita ou uma barra de progresso ou tempo estimado restante ou algo assim. Para cada arquivo único ou para todos eles ou ambos.

Eu prefiro oneliners assim:

tar cf - /folder-with-big-files -P | pv -s $(du -sb /folder-with-big-files | awk '{print $1}') | gzip > big-files.tar.gz

Terá uma saída como esta:

4.69GB 0:04:50 [16.3MB/s] [==========================>        ] 78% ETA 0:01:21

Para OSX (da resposta de Kenji)

tar cf - /folder-with-big-files -P | pv -s $(($(du -sk /folder-with-big-files | awk '{print $1}') * 1024)) | gzip > big-files.tar.gz

Você pode usar o pv para conseguir isso. Para relatar o progresso corretamente, é pvnecessário saber quantos bytes você está jogando nele. Portanto, o primeiro passo é calcular o tamanho (em kbyte). Você também pode soltar completamente a barra de progresso e apenas pvinformar quantos bytes ele viu; relataria um 'feito tanto e tão rápido'.

% SIZE=`du -sk folder-with-big-files | cut -f 1`

E depois:

% tar cvf - folder-with-big-files | pv -p -s ${SIZE}k | \ 
     bzip2 -c > big-files.tar.bz2

melhor barra de progresso ..

apt-get install pv dialog

(pv -n file.tgz | tar xzf - -C target_directory ) \
2>&1 | dialog --gauge "Extracting file..." 6 50

Verifique as opções --checkpointe --checkpoint-actionna página de informações do tar (como na minha distribuição, a descrição dessas opções não está contida na página de manual → RTFI).

Consulte https://www.gnu.org/software/tar/manual/html_section/tar_26.html

Com estes (e talvez a funcionalidade de escrever seu próprio comando de ponto de verificação), você pode calcular uma porcentagem…

Inspirado pela resposta do ajudante

Outra maneira é usar as taropções nativas

FROMSIZE=`du -sk ${FROMPATH} | cut -f 1`;
CHECKPOINT=`echo ${FROMSIZE}/50 | bc`;
echo "Estimated: [==================================================]";
echo -n "Progess:   [";
tar -c --record-size=1K --checkpoint="${CHECKPOINT}" --checkpoint-action="ttyout=>" -f - "${FROMPATH}" | bzip2 > "${TOFILE}";
echo "]"

o resultado é como

Estimated: [==================================================]
Progess:   [>>>>>>>>>>>>>>>>>>>>>>>

um exemplo completo aqui

Usando apenas alcatrão

tartem a opção (desde a v1.12) para imprimir informações de status em sinais usando --totals=$SIGNO, por exemplo:

tar --totals=USR1 -czf output.tar input.file
Total bytes written: 6005319680 (5.6GiB, 23MiB/s)

As Total bytes written: [...]informações são impressas em todos os sinais USR1, por exemplo:

pkill -SIGUSR1 tar

Fonte:

• gnu.org - GNU tar - 3.7 Verificando o progresso do tar
• gnu.org - tar - Notícias

Acabei de notar o comentário sobre o MacOS e, embora eu ache a solução do @akira (e pv) muito mais elegante, pensei em seguir um palpite e uma rápida solução alternativa na minha caixa do MacOS com tar e enviar um sinal SIGINFO. Curiosamente, funcionou :) se você estiver em um sistema BSD-like, este deve funcionar, mas em uma caixa de Linux, talvez seja necessário enviar um SIGUSR1, e / ou tarpode não funcionar da mesma maneira.

O lado negativo é que ele apenas fornecerá uma saída (no stdout) mostrando a você o quão longe está o arquivo atual, pois acho que não tem idéia do tamanho do fluxo de dados.

Portanto, sim, uma abordagem alternativa seria ativar o alcatrão e enviá-lo periodicamente a SIGINFOs sempre que você quiser saber até que ponto chegou. Como fazer isso?

A abordagem manual ad-hoc

Se você quiser verificar o status de maneira ad-hoc, poderá clicar control-T(como Brian Swift mencionou) na janela relevante que enviará o sinal SIGINFO. Um problema é que ele será enviado para toda a cadeia, acredito que, se você estiver fazendo:

% tar cvf - folder-with-big-files | bzip2 -c > big-files.tar.bz2

Você também verá o relatório bzip2, seu status e o tar:

a folder-with-big-files/big-file.imgload 0.79  cmd: bzip2 13325 running 
      14 0.27u 1.02s 

      adding folder-with-big-files/big-file.imgload (17760256 / 32311520)

Isso funciona muito bem se você quiser apenas verificar se tarestá executando ou está travado ou lento. Você provavelmente não precisa se preocupar muito com problemas de formatação neste caso, pois é apenas uma verificação rápida.

O tipo de abordagem automatizada

Se você sabe que vai demorar um pouco, mas quer algo como um indicador de progresso, uma alternativa seria disparar seu processo de tar e, em outro terminal, calcular o PID e jogá-lo em um script que apenas envia repetidamente um sinal . Por exemplo, se você tiver o seguinte scriptlet (e invoque-o como diz script.sh PID-to-signal interval-to-signal-at):

#!/bin/sh

PID=$1
INTERVAL=$2
SIGNAL=29      # excuse the voodoo, bash gets the translation of SIGINFO, 
               # sh won't..

kill -0 $PID   # invoke a quick check to see if the PID is present AND that
               # you can access it..

echo "this process is $$, sending signal $SIGNAL to $PID every $INTERVAL s"
while [ $? -eq 0 ]; do
     sleep $INTERVAL;
     kill -$SIGNAL $PID;    # The kill signalling must be the last statement
                            # or else the $? conditional test won't work
done
echo "PID $PID no longer accessible, tar finished?"

Se você invocá-lo dessa maneira, como você está segmentando apenas, tarobterá uma saída mais parecida com esta

a folder-with-big-files/tinyfile.1
a folder-with-big-files/tinyfile.2
a folder-with-big-files/tinyfile.3
a folder-with-big-files/bigfile.1
adding folder-with-big-files/bigfile.1 (124612 / 94377241)
adding folder-with-big-files/bigfile.1 (723612 / 94377241)
...

o que eu admito, é meio bonito.

Por último, mas não menos importante - meus scripts estão meio enferrujados; portanto, se alguém quiser entrar e limpar / consertar / melhorar o código, continue sua vida :)

Inspirado pela resposta de Noah Spurrier

function tar {
  local bf so
  so=${*: -1}
  case $(file "$so" | awk '{print$2}') in
  XZ) bf=$(xz -lv "$so" |
    perl -MPOSIX -ane '$.==11 && print ceil $F[5]/50688') ;;
  gzip) bf=$(gzip -l "$so" |
    perl -MPOSIX -ane '$.==2 && print ceil $F[1]/50688') ;;
  directory) bf=$(find "$so" -type f | xargs du -B512 --apparent-size |
    perl -MPOSIX -ane '$bk += $F[0]+1; END {print ceil $bk/100}') ;;
  esac
  command tar "$@" --blocking-factor=$bf \
    --checkpoint-action='ttyout=%u%\r' --checkpoint=1
}

Fonte

Se você soubesse o número do arquivo em vez do tamanho total de todos eles:

uma alternativa (menos precisa, mas adequada) é usar a opção -l e enviar no canal unix os nomes dos arquivos em vez do conteúdo dos dados.

Vamos colocar 12345 arquivos no mydir , o comando é:

[myhost@myuser mydir]$ tar cfvz ~/mytarfile.tgz .|pv -s 12345 -l > /dev/null 

você pode conhecer esse valor antecipadamente (por causa do seu caso de uso) ou usar algum comando como find + wc para descobri-lo:

[myhost@myuser mydir]$ find | wc -l
12345

Método baseado em tqdm :

tar -v -xf tarfile.tar -C TARGET_DIR | tqdm --total $(tar -tvf tarfile.tar | wc -l) > /dev/null

No macOS , primeiro verifique se você tem todos os comandos disponíveis e instale os que estão faltando (por exemplo pv) usando o brew .

Se você quiser apenas tar sem compactação , vá com:

tar -c folder-with-big-files | pv -s $[$(du -sk folder-with-big-files | awk '{print $1}') * 1024] > folder-with-big-files.tar

Se você deseja compactar , vá com:

tar cf - folder-with-big-files -P | pv -s $[$(du -sk folder-with-big-files | awk '{print $1}') * 1024] | gzip > folder-with-big-files.tar.gz

Nota: Pode demorar um pouco até a barra de progresso aparecer. Tente uma pasta menor primeiro para garantir que ela funcione e depois vá para a pasta com arquivos grandes.

Aqui estão alguns números de um backup de prometheus (dados de métricas) no Debian / buster AMD64:

root# cd /path/to/prometheus/
root# tar -cf - ./metrics | ( pv -p --timer --rate --bytes > prometheus-metrics.tar )

Cancelou este trabalho porque não havia espaço em disco suficiente disponível.

Experimentando zstdcomo compressor para tarmonitorar o progresso usando pv:

root# apt-get update
root# apt-get install zstd pv

root# tar -c --zstd -f - ./metrics | ( pv -p --timer --rate --bytes > prometheus-metrics.tar.zst )
10.2GiB 0:11:50 [14.7MiB/s]

root# du -s -h prometheus
62G    prometheus

root# du -s -h prometheus-metrics.tar.zst
11G    prometheus-metrics.tar.zst