Tamanho total do conteúdo de todos os arquivos em um diretório [fechado]

Quando eu uso lsou du, obtenho a quantidade de espaço em disco que cada arquivo está ocupando.

Preciso da soma total de todos os dados em arquivos e subdiretórios que obteria se abrisse cada arquivo e contasse os bytes. Pontos de bônus se eu conseguir sem abrir cada arquivo e contar.

Se você quiser o 'tamanho aparente' (que é o número de bytes em cada arquivo), não o tamanho ocupado pelos arquivos no disco, use a opção -bou --bytes(se você tiver um sistema Linux com GNU coreutils ):

% du -sbh <directory>

Use du -sb:

du -sb DIR

Opcionalmente, adicione a hopção para uma saída mais amigável:

du -sbh DIR

cd para o diretório, então:

du -sh

ftw!

Escreveu originalmente sobre isso aqui: https://ao.gl/get-the-total-size-of-all-the-files-in-a-directory/

Apenas uma alternativa:

ls -lAR | grep -v '^d' | awk '{total += $5} END {print "Total:", total}'

grep -v '^d' irá excluir os diretórios.

O formato "% s" do stat fornece o número real de bytes em um arquivo.

 find . -type f |
 xargs stat --format=%s |
 awk '{s+=$1} END {print s}'

Sinta-se à vontade para substituir a soma dos números pelo seu método favorito .

Se você usar o "du" do busybox no sistema integrado, você não pode obter bytes exatos com du, apenas Kbytes que você pode obter.

BusyBox v1.4.1 (2007-11-30 20:37:49 EST) multi-call binary

Usage: du [-aHLdclsxhmk] [FILE]...

Summarize disk space used for each FILE and/or directory.
Disk space is printed in units of 1024 bytes.

Options:
        -a      Show sizes of files in addition to directories
        -H      Follow symbolic links that are FILE command line args
        -L      Follow all symbolic links encountered
        -d N    Limit output to directories (and files with -a) of depth < N
        -c      Output a grand total
        -l      Count sizes many times if hard linked
        -s      Display only a total for each argument
        -x      Skip directories on different filesystems
        -h      Print sizes in human readable format (e.g., 1K 243M 2G )
        -m      Print sizes in megabytes
        -k      Print sizes in kilobytes(default)

Quando uma pasta é criada, muitos sistemas de arquivos Linux alocam 4096 bytes para armazenar alguns metadados sobre o próprio diretório. Esse espaço é aumentado em um múltiplo de 4096 bytes conforme o diretório cresce.

O comando du (com ou sem a opção -b) leva em conta este espaço , como você pode ver digitando:

mkdir test && du -b test

você terá um resultado de 4096 bytes para um diretório vazio. Portanto, se você colocar 2 arquivos de 10.000 bytes dentro do dir, a quantidade total fornecida por du -sb será de 24096 bytes.

Se você ler atentamente a pergunta, não é isso que pergunta. O questionador perguntou:

a soma total de todos os dados em arquivos e subdiretórios que obteria se abrisse cada arquivo e contasse os bytes

que no exemplo acima deve ter 20.000 bytes, não 24096.

Portanto, a resposta correta IMHO poderia ser uma mistura de resposta de Nelson e sugestão hlovdal para lidar com nomes de arquivos contendo espaços:

find . -type f -print0 | xargs -0 stat --format=%s | awk '{s+=$1} END {print s}'

Existem pelo menos três maneiras de obter a "soma total de todos os dados em arquivos e subdiretórios" em bytes que funcionam tanto no Linux / Unix quanto no Git Bash para Windows, listados abaixo da média mais rápida para a mais lenta. Para sua referência, eles foram executados na raiz de um sistema de arquivos bastante profundo ( docrootem uma instalação do Magento 2 Enterprise compreendendo 71.158 arquivos em 30.027 diretórios).

1

$ time find -type f -printf '%s\n' | awk '{ total += $1 }; END { print total" bytes" }'
748660546 bytes

real    0m0.221s
user    0m0.068s
sys     0m0.160s

2

$ time echo `find -type f -print0 | xargs -0 stat --format=%s | awk '{total+=$1} END {print total}'` bytes
748660546 bytes

real    0m0.256s
user    0m0.164s
sys     0m0.196s

3 -

$ time echo `find -type f -exec du -bc {} + | grep -P "\ttotal$" | cut -f1 | awk '{ total += $1 }; END { print total }'` bytes
748660546 bytes

real    0m0.553s
user    0m0.308s
sys     0m0.416s

Esses dois também funcionam, mas dependem de comandos que não existem no Git Bash para Windows:

1

$ time echo `find -type f -printf "%s + " | dc -e0 -f- -ep` bytes
748660546 bytes

real    0m0.233s
user    0m0.116s
sys     0m0.176s

2

$ time echo `find -type f -printf '%s\n' | paste -sd+ | bc` bytes
748660546 bytes

real    0m0.242s
user    0m0.104s
sys     0m0.152s

Se você quiser apenas o total do diretório atual, adicione -maxdepth 1 a find.

Observe que algumas das soluções sugeridas não retornam resultados precisos, então eu preferiria as soluções acima.

$ du -sbh
832M    .

$ ls -lR | grep -v '^d' | awk '{total += $5} END {print "Total:", total}'
Total: 583772525

$ find . -type f | xargs stat --format=%s | awk '{s+=$1} END {print s}'
xargs: unmatched single quote; by default quotes are special to xargs unless you use the -0 option
4390471

$ ls -l| grep -v '^d'| awk '{total = total + $5} END {print "Total" , total}'
Total 968133

Para Win32 DOS, você pode:

c:> dir / sc: \ diretório \ que você \ deseja

e a penúltima linha informará quantos bytes os arquivos ocupam.

Eu sei que isso lê todos os arquivos e diretórios, mas funciona mais rápido em algumas situações.

dué prático, mas findé útil no caso de você desejar calcular o tamanho de alguns arquivos apenas (por exemplo, usando filtro por extensão). Observe também que findeles próprios podem imprimir o tamanho de cada arquivo em bytes. Para calcular o tamanho total, podemos conectar o dccomando da seguinte maneira:

find . -type f -printf "%s + " | dc -e0 -f- -ep

Aqui findgera sequência de comandos para dcgosto 123 + 456 + 11 +. Embora o programa completo deva ser0 123 + 456 + 11 + p (lembre-se da notação pós-fixada).

Portanto, para obter o programa completo, precisamos colocá-lo 0na pilha antes de executar a sequência de stdin e imprimir o número superior após a execução (o pcomando no final). Conseguimos isso por meio de dcopções:

1. -e0é apenas um atalho para -e '0'colocar0 na pilha,
2. -f- é para ler e executar comandos de stdin (aquele gerado por find aqui),
3. -epé para imprimir o resultado ( -e 'p').

Para imprimir o tamanho em MiB, como 284.06 MiBpodemos usar -e '2 k 1024 / 1024 / n [ MiB] p'no ponto 3, em vez disso (a maioria dos espaços são opcionais).

Isso pode ajudar:

ls -l| grep -v '^d'| awk '{total = total + $5} END {print "Total" , total}'

O comando acima somará todos os arquivos deixando o tamanho dos diretórios.

Usar:

$ du -ckx <DIR> | grep total | awk '{print $1}'

Onde <DIR> é o diretório que você deseja inspecionar.

O '-c' fornece dados do total geral que são extraídos usando a parte 'total grep' do comando, e a contagem em Kbytes é extraída com o comando awk.

A única advertência aqui é se você tiver um subdiretório contendo o texto "total", ele também será cuspido.