Como limpar o espaço livre em disco no Linux?

Quando um arquivo é excluído, seu conteúdo ainda pode ser deixado no sistema de arquivos, a menos que seja explicitamente substituído por outra coisa. O wipecomando pode apagar com segurança os arquivos, mas não parece permitir o espaço livre em disco não usado por nenhum arquivo.

O que devo usar para conseguir isso?

Aviso: O hardware moderno do disco / SSD e os sistemas de arquivos modernos podem desviar os dados de locais onde você não pode excluí-los; portanto, esse processo ainda pode deixar os dados no disco. As únicas maneiras seguras de limpar dados são o comando ATA Secure Erase (se implementado corretamente) ou destruição física. Consulte também Como posso apagar com segurança todas as informações em um disco rígido?

Você pode usar um conjunto de ferramentas chamado exclusão segura.

sudo apt-get install secure-delete

Isso tem quatro ferramentas:

srm- excluir com segurança um arquivo existente
smem- excluir com segurança os traços de um arquivo do ram
sfill- limpe todo o espaço marcado como vazio no disco rígido
sswap- limpe todos os dados da troca de espaço.

Na página do manual de srm

O srm foi projetado para excluir dados de mídias de maneira segura, que não podem ser recuperados por ladrões, policiais ou outras ameaças. O algoritmo de limpeza é baseado no artigo "Exclusão segura de dados da memória magnética e de estado sólido" apresentado no 6º Simpósio de segurança da Usenix por Peter Gutmann, um dos principais criptografadores civis.

O processo de exclusão segura de dados do srm é assim:

• 1 passe com 0xff
• 5 passes aleatórios. /dev/urandomé usado para um RNG seguro, se disponível.
• 27 passes com valores especiais definidos por Peter Gutmann.
• 5 passes aleatórios. /dev/urandomé usado para um RNG seguro, se disponível.
• Renomeie o arquivo para um valor aleatório
• Truncar o arquivo

Como medida adicional de segurança, o arquivo é aberto no modo O_SYNC e após cada passagem, uma fsync()chamada é realizada. srmgrava blocos de 32k para fins de velocidade, preenchendo buffers de caches de disco para forçá-los a liberar e sobrescrever dados antigos que pertenciam ao arquivo.

A maneira mais rápida, se você precisa apenas de uma única passagem e deseja substituir tudo por zeros, é:

cat /dev/zero > zero.file
sync
rm zero.file

(execute a partir de um diretório no sistema de arquivos que você deseja limpar)
_{(o synccomando é uma medida de paranóia que garante que todos os dados sejam gravados no disco - um gerenciador de cache inteligente pode descobrir que pode cancelar gravações para quaisquer blocos pendentes quando o arquivo não está vinculado )}

Haverá um tempo durante esta operação em que não haverá espaço livre no sistema de arquivos, o que poderá levar dezenas de segundos se o arquivo resultante for grande e fragmentado, levando um tempo para excluir. Para reduzir o tempo em que o espaço livre é completamente zero:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
cat /dev/zero > zero.file
sync
rm zero.small.file
rm zero.file

Isso deve ser suficiente para impedir que alguém leia o conteúdo antigo do arquivo sem uma operação forense cara. Para uma variante um pouco mais segura, mas mais lenta, substitua /dev/zeropor /dev/urandom. Para mais paranóia, execute várias etapas com /dev/urandom, embora se você precisar de muito esforço, o shredutilitário do pacote coreutils seja o caminho a seguir:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
shred -z zero.small.file
cat /dev/zero > zero.file
sync
rm zero.small.file
shred -z zero.file
sync
rm zero.file

Observe que, acima, o arquivo pequeno é fragmentado antes de criar o maior, para que possa ser removido assim que o maior for concluído, em vez de ter que esperar que seja fragmentado, deixando o sistema de arquivos com espaço livre zero pelo tempo necessário. O processo de fragmentação demora muito tempo em um arquivo grande e, a menos que você esteja tentando ocultar algo da NSA, o IMO não é realmente necessário.

Todas as opções acima devem funcionar em qualquer sistema de arquivos.

Limites de tamanho de arquivo:

Como o DanMoulding aponta em um comentário abaixo, isso pode ter problemas com os limites de tamanho de arquivo em alguns sistemas de arquivos.

Para o FAT32, seria definitivamente uma preocupação devido ao limite de arquivos de 2GiB: a maioria dos volumes é maior que isso atualmente (8TiB é o limite de tamanho de volume IIRC). Você pode contornar isso canalizando a grande cat /dev/zerosaída de saída splitpara gerar vários arquivos menores e ajustar os estágios de destruição e exclusão de acordo.

Com ext2 / 3/4, é menos preocupante: com o bloco 4K padrão / comum, o limite de tamanho do arquivo é 2TiB; portanto, você precisa ter um volume enorme para que isso seja um problema (o tamanho máximo do volume nessas condições é 16TiB).

Com o btrfs (ainda experimental), o tamanho máximo do arquivo e do volume é de 16EiB.

Em NTFS, o tamanho máximo do arquivo é maior que o tamanho máximo do volume, em alguns casos, mesmo.

Pontos de partida para obter mais informações:
http://en.wikipedia.org/wiki/Ext3#Size_limits
http://en.wikipedia.org/wiki/Btrfs
http://en.wikipedia.org/wiki/Ntfs#Scalability

Dispositivos virtuais

Conforme mencionado nos comentários recentemente, há considerações adicionais para dispositivos virtuais:

• Para discos virtuais esparsamente alocados, outros métodos, como os usados ​​por zerofree, serão mais rápidos (embora diferentemente cate ddessa não seja uma ferramenta padrão em que você possa confiar em estar disponível em praticamente qualquer sistema operacional unix-like).

• Esteja ciente de que zerar um bloco em um dispositivo virtual esparso pode não limpar o bloco no dispositivo físico subjacente ; na verdade, eu diria que é improvável - o gerenciador de disco virtual apenas fará o bloco como não é mais usado para que possa ser alocado para outra coisa posteriormente.

• Mesmo para dispositivos virtuais de tamanho fixo, você pode não ter controle de onde o dispositivo vive fisicamente, para que possa ser movido pela sua localização atual ou para um novo conjunto de discos físicos a qualquer momento, e o máximo que você pode limpar é a localização atual, não quaisquer locais anteriores em que o bloco tenha residido no passado.

• Para os problemas acima em dispositivos virtuais: a menos que você controle o (s) host (s) e possa fazer uma limpeza segura do espaço não alocado depois de limpar os discos na VM ou mover o dispositivo virtual, não há nada que você possa fazer depois disso. facto. O único recurso é usar criptografia de disco completa desde o inícioportanto, nada não criptografado é todo gravado na mídia física em primeiro lugar. Ainda é possível que haja uma limpeza de espaço livre na VM, é claro. Observe também que o FDE pode tornar os dispositivos virtuais esparsos muito menos úteis, pois a camada de virtualização não pode realmente ver quais blocos não estão sendo usados. Se a camada do sistema de arquivos do sistema operacional envia comandos de apara para o dispositivo virtual (como se fosse um SSD) e o controlador virtual os interpreta, isso pode resolver isso, mas não conheço nenhuma circunstância em que isso realmente aconteça e uma resposta mais ampla. a discussão disso é uma questão para outro lugar (já estamos chegando perto de ser um tópico fora de questão para a pergunta original, portanto, se isso despertou seu interesse, algumas perguntas de experimentação e / ou acompanhamento podem estar em ordem).

AVISO

Fiquei chocado com quantos arquivos o photorec pôde recuperar do meu disco, mesmo após a limpeza.

Se há mais segurança no preenchimento do "espaço livre" apenas 1 vez com 0x00 ou 38 vezes com diferentes padrões cabalísticos, é mais uma discussão acadêmica. O autor do artigo seminal de 1996 sobre trituração escreveu para si mesmo um epílogo dizendo que isso é obsoleto e desnecessário para o hardware moderno. Não há nenhum caso documentado de dados sendo zerados fisicamente substituídos e recuperados posteriormente.

O verdadeiro link frágil neste procedimento é o sistema de arquivos . Alguns sistemas de arquivos reservam espaço para uso especial e não são disponibilizados como "espaço livre". Mas seus dados podem estar lá . Isso inclui fotos, e-mails pessoais em texto simples, o que for. Acabei de pesquisar no espaço reservado + space + ext4 e aprendi que 5% da minha homepartição estava reservada. Acho que foi aqui que photorecencontrei muito do meu material. Conclusão: o método de trituração não é o mais importante, mesmo o método de múltiplas passagens ainda deixa os dados no lugar .

Você pode tentar # tune2fs -m 0 /dev/sdn0antes de montá-lo. (Se essa for a partição raiz após a reinicialização, execute -m 5ou -m 1desmonte).

Mas ainda assim, de uma maneira ou de outra, pode haver algum espaço restante.

A única maneira verdadeiramente segura é limpar toda a partição, criar um sistema de arquivos novamente e restaurar seus arquivos a partir de um backup.

Maneira rápida (recomendado)

Execute a partir de um diretório no sistema de arquivos que você deseja limpar:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
rm zero.file

Notas: o objetivo do arquivo pequeno é reduzir o tempo em que o espaço livre é completamente zero; o objetivo da sincronização é garantir que os dados sejam realmente gravados.

Isso deve ser bom o suficiente para a maioria das pessoas.

Caminho lento (paranóico)

Não há casos documentados de recuperação de dados após a limpeza acima. Seria caro e exigente em recursos, se possível.

No entanto, se você tiver um motivo para pensar que as agências secretas gastariam muitos recursos para recuperar seus arquivos, isso deve ser suficiente:

dd if=/dev/urandom of=random.small.file bs=1024 count=102400
dd if=/dev/urandom of=random.file bs=1024
sync ; sleep 60 ; sync
rm random.small.file
rm random.file

Demora muito mais tempo.

Aviso. Se você escolheu o caminho paranóico, depois disso, você ainda deseja fazer a limpeza rápida, e isso não é paranóia. A presença de dados puramente aleatórios é fácil e barata de detectar e levanta a suspeita de que na verdade são dados criptografados. Você pode morrer sob tortura por não revelar a chave de descriptografia.

Caminho muito lento (paranóico louco)

Até o autor do artigo seminal de 1996 sobre trituração escreveu um epílogo dizendo que isso é obsoleto e desnecessário para o hardware moderno.

Mas se você ainda tem muito tempo livre e não se importa de desperdiçar seu disco com muita substituição, lá vai:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
sync ; sleep 60 ; sync
shred -z zero.small.file
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
shred -z zero.file
sync ; sleep 60 ; sync
rm zero.file

Nota: isso é essencialmente equivalente ao uso da ferramenta de exclusão segura.

Antes da edição, este post era uma reescrita de David Spillett. O comando "cat" produz uma mensagem de erro, mas não consigo escrever comentários nas postagens de outras pessoas.

Há um utilitário zerofree pelo menos no Ubuntu:

http://manpages.ubuntu.com/manpages/natty/man8/zerofree.8.html

   zerofree — zero free blocks from ext2/3 file-systems

   zerofree  finds  the  unallocated, non-zeroed blocks in an ext2 or ext3
   filesystem (e.g. /dev/hda1) and fills them with zeroes. This is  useful
   if  the  device  on  which this file-system resides is a disk image. In
   this case, depending on the type of disk image, a secondary utility may
   be  able  to  reduce the size of the disk image after zerofree has been
   run.

   The usual way to achieve  the  same  result  (zeroing  the  unallocated
   blocks)  is to run dd (1) to create a file full of zeroes that takes up
   the entire free space on the drive, and then delete this file. This has
   many disadvantages, which zerofree alleviates:

      ·  it is slow;

      ·  it makes the disk image (temporarily) grow to its maximal extent;

      ·  it  (temporarily)  uses  all  free  space  on  the disk, so other
         concurrent write actions may fail.

   filesystem has to be unmounted or mounted  read-only  for  zerofree  to
   work.  It  will exit with an error message if the filesystem is mounted
   writable. To remount the  root  file-system  readonly,  you  can  first
   switch to single user runlevel (telinit 1) then use mount -o remount,ro
   filesystem.

Verifique também este link sobre o zerofree: Mantendo as imagens do sistema de arquivos dispersas - é de seu autor - Ron Yorston (9 de agosto de 2012)

Veja como fazer isso com uma GUI.

1. Instale o BleachBit
2. Execute como root clicando em Aplicativos - Ferramentas do sistema - BleachBit como administrador.
3. Nas preferências, diga quais caminhos você deseja. Geralmente os adivinha bem. Você deseja incluir um caminho gravável para cada partição. Geralmente é / home / nome de usuário e / tmp, a menos que sejam a mesma partição; nesse caso, basta escolher uma.
4. Marque a caixa Sistema - Limpe o espaço livre em disco.
5. Clique em Excluir.

O avanço do BleachBit sobre o dd (que de outra forma é muito bom) é quando o disco está finalmente cheio, o BleachBit cria pequenos arquivos para limpar os inodes (que contém metadados como nomes de arquivos, etc.).

Uso ddpara alocar um ou mais arquivos grandes para preencher o espaço livre e, em seguida, uso um utilitário de exclusão segura.

Para alocar arquivos com o dd, tente:

dd if=/dev/zero of=delete_me bs=1024 count=102400

Isso irá gerar um arquivo com delete_metamanho de 100 MB. (Aqui bsestá o "tamanho do bloco" definido como 1k e counté o número de blocos a serem alocados).

Em seguida, use seu utilitário de exclusão segura favorito (eu venho usando shred) nos arquivos criados.

NOTA: O buffer significa que, mesmo que você faça o disco inteiro , talvez não obtenha absolutamente tudo!

Este link recomenda scruba limpeza de espaço livre. Ainda não tentei.

Limpe uma unidade na velocidade máxima.

Hoje em dia, as instruções típicas para criptografar uma unidade dizem para você primeiro limpar a unidade.

O comando abaixo preencherá sua unidade com texto cifrado AES.

Use um CD ao vivo se precisar limpar sua unidade de inicialização principal.

Abra um terminal e eleve seus privilégios:

sudo bash

Vamos listar todas as unidades no sistema para serem seguras:

cat /proc/partitions

NOTA: Substitua /dev/sd{x}pelo dispositivo que deseja limpar.

AVISO: Isto não é para amadores! Você pode deixar seu sistema não inicializável !!!

sudo openssl enc -aes-256-ctr -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" -nosalt < /dev/zero > /dev/sd{x}

Estou surpreso com a rapidez com que isso é.

Você provavelmente já possui o pacote GNU coreutils instalado no seu sistema. Ele fornece o comando shred .

Você pode limpar seu espaço livre usando o pacote de exclusão segura.

Nesse pacote, você encontra a sfillferramenta projetada para excluir os dados que estão no espaço em disco disponível nas mídias, de maneira segura e que não pode ser recuperada por ladrões, policiais ou outras ameaças.

Para instalar o pacote de exclusão segura no Linux (Ubuntu), instale-o pelo seguinte comando:

$ sudo apt-get install secure-delete

Em seguida, para apagar seus dados sem espaço livre, tente o seguinte comando:

sfill -f -v -ll /YOUR_MOUNTPOINT/OR_DIRECTORY

Onde / YOUR_MOUNTPOINT / OR_DIRECTORY é seu ponto de montagem ( df -h, mount) ou diretório para limpar o espaço livre.

Leia o manual em http://manpages.ubuntu.com/manpages/hardy/man1/sfill.1.html

use dd e apenas zere o espaço livre. trata-se de um dado de mito que precisa ser sobrescrito várias vezes (basta perguntar a Peter Guntmann) e dados aleatórios, em oposição a 1 e então 0 implica atividade não natural. então o resultado final é uma unidade limpa, com muito menos tempo gasto escrevendo. além disso, os programas de exclusão segura não podem garantir que eles sobrescrevam o arquivo real em sistemas de arquivos modernos (registrados em diário). faça um favor a si mesmo e obtenha o photorec, analise sua unidade para ver a bagunça, limpe-a com zeros e, opcionalmente, com zeros para torná-la intacta. se o photorec ainda encontrar alguma coisa, lembre-se de que está digitalizando tudo o que está disponível; faça isso com cuidado novamente com o usuário root.

lembre-se, a cia / fbi / nsa não possui uma máquina sofisticada capaz de ler o estado real de seus bits de mídia magnética. isso foi apenas um artigo escrito há muito tempo. um "e se". você só precisa limpar uma vez.

Mais fácil é usar o scrub :

scrub -X dump

Isso criará uma dumppasta no local atual e criará o arquivo até que o disco esteja cheio. Você pode escolher um padrão com a -popção ( nnsa|dod|bsi|old|fastold|gutmann).

Não é fácil instalar o scrub ( consulte os Fóruns do Ubuntu sobre isso ), mas depois que a instalação estiver concluída, você terá uma ferramenta realmente SIMPLES e eficiente em suas mãos.

Aqui está o script "sdelete.sh" que eu uso. Veja os comentários para obter detalhes.

# Install the secure-delete package (sfill command).

# To see progress type in new terminal:
# watch -n 1 df -hm

# Assuming that there is one partition (/dev/sda1). sfill writes to /.
# The second pass writes in current directory and synchronizes data.
# If you have a swap partition then disable it by editing /etc/fstab
# and use "sswap" or similar to wipe it out.

# Some filesystems such as ext4 reserve 5% of disk space
# for special use, for example for the /home directory.
# In such case sfill won't wipe out that free space. You
# can remove that reserved space with the tune2fs command.
# See http://superuser.com/a/150757
# and https://www.google.com/search?q=reserved+space+ext4+sfill

sudo tune2fs -m 0 /dev/sda1
sudo tune2fs -l /dev/sda1 | grep 'Reserved block count'

sudo sfill -vfllz /

# sfill with the -f (fast) option won't synchronize the data to
# make sure that all was actually written. Without the fast option
# it is way too slow, so doing another pass in some other way with
# synchronization. Unfortunately this does not seem to be perfect,
# as I've watched free space by running the "watch -n 1 df -hm"
# command and I could see that there was still some available space
# left (tested on a SSD drive).

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
rm zero.file

sudo tune2fs -m 5 /dev/sda1
sudo tune2fs -l /dev/sda1 | grep 'Reserved block count'

Encontrei uma solução simples que funciona no Linux e no MacOS. Mova a pasta raiz do seu disco e inicie este comando:

for i in $(seq 1 //DISKSPACE//); do dd if=/dev/zero of=emptyfile${i} bs=1024 count=1048576; done; rm emptyfile*;

onde // DISKSPACE // é o tamanho em GB do seu disco rígido.

Às vezes eu uso este bash one-liner:

while :; do cat /dev/zero > zero.$RANDOM; done

Quando começar a dizer que o disco está cheio, basta pressionar Ctrl+ Ce remover os zero.*arquivos criados .

Funciona em qualquer sistema, independentemente do tamanho do arquivo.
Ignore os cat: write error: File too largeerros.

Esta não é uma resposta! Apenas um comentário para aqueles que desejam usar pv... então não se preocupe em votar.

No Linux Mint 17.3, você pode usar pv( exibição de pipe ) para obter progresso na gravação. Por exemplo:

# Install pv (pipe view)
sudo apt-get install pv

# Write huge file of approximate size of /dev/sdb, using urandom data:
pv --timer --average-rate --progress --numeric --eta --interval 5 --size "$(blockdev --getsize64 /dev/sda )" /dev/urandom >rand.file

A vantagem aqui é que você obtém uma barra de progresso, ETA e taxa de dados atualizada continuamente. A desvantagem é que isso está escrito em uma linha e, quando o disco está cheio (retornando um erro), ele desaparece. Isso acontece porque o tamanho total é aproximado, pois o sistema operacional provavelmente usará o disco enquanto essa operação muito longa estiver ocorrendo, especialmente no volume do sistema operacional.

Em um HD muito antigo, recebo uma taxa de dados de cerca de 13 MB / s usando /dev/urandome cerca de 70 MB / s ao usá-lo /dev/zero. Provavelmente isso melhoraria ainda mais ao usar um raw ddou catnão pv.

Depois que o arquivo sai do registro do sistema de arquivos, os dados que são deixados no disco rígido ficam sem sequência de 1 e 0. Se você deseja substituir essa sequência sem sentido por outra sequência sem sentido, posso aconselhar alguns produtos comerciais para apagar unidades com segurança, como arconis.