Como posso verificar se um arquivo de 1 TB foi transferido corretamente?

Eu freqüentemente transfiro imagens de VM de hipervisores para um servidor de arquivamento para armazenamento a longo prazo.

Eu transfiro usando netcat desde que é mais rápido que scp, rsync, ect ..

hypervisor$ cat foo.box | nc <archive IP> 1234

archive$ nc -l -p 1234 > foo.box

Quando o arquivo terminou de ser transferido, verifiquei que não havia corrupção executando md5sum tanto no alvo quanto na fonte.

Infelizmente, executar um md5sum em um arquivo grande pode levar muito tempo. Como posso comparar mais rapidamente a integridade de dois arquivos grandes?

Atualizar:

• Minha transmissão raramente é interrompida, portanto a capacidade de reiniciar não é um problema.
• Geralmente, leva de 3 a 4 horas para transferir via NC e depois 40 minutos para obter o md5sum.
• A segurança do hash não é um problema neste caso.

Você pode usar camiseta para fazer a soma na hora com algo parecido com isto (adapte os comandos netcat para suas necessidades):

Servidor:

netcat -l -w 2 1111 | tee >( md5sum > /dev/stderr )

Cliente:

tee >( md5sum > /dev/stderr ) | netcat 127.0.0.1 1111

Resposta de Nerdwaller sobre o uso tee para transferir e calcular simultaneamente uma soma de verificação é uma boa abordagem se você estiver preocupado principalmente com a corrupção na rede. Ele não irá protegê-lo contra a corrupção no caminho para o disco, etc., porém, já que ele está recebendo a soma de verificação antes de chegar ao disco.

Mas gostaria de acrescentar algo:

1 TiB / 40 minutos ≈ 437 MiB / seg ¹ .

Isso é bem rápido, na verdade. Lembre-se que a menos que você tenha um muito de RAM, isso tem que voltar do armazenamento. Então, a primeira coisa a verificar é assistir iostat -kx 10 como você executa suas somas de verificação; em particular, você quer prestar atenção ao %util coluna. Se você está atrelando os discos (perto de 100%), a resposta é comprar um armazenamento mais rápido.

Caso contrário, como outros pôsteres mencionados, você pode tentar diferentes algoritmos de soma de verificação. MD4, MD5 e SHA-1 são todos projetados para serem hashes criptográficos (embora nenhum deles deva ser usado para essa finalidade; todos são considerados muito fracos). Velocidade sábia, você pode compará-los com openssl speed md4 md5 sha1 sha256. Eu joguei SHA256 para ter pelo menos um hash ainda forte o suficiente.

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md4              61716.74k   195224.79k   455472.73k   695089.49k   820035.58k
md5              46317.99k   140508.39k   320853.42k   473215.66k   539563.35k
sha1             43397.21k   126598.91k   283775.15k   392279.04k   473153.54k
sha256           33677.99k    75638.81k   128904.87k   155874.91k   167774.89k

Acima, você pode ver que o MD4 é o mais rápido e o SHA256 o mais lento. Esse resultado é típico de hardware semelhante a um PC, pelo menos.

Se você quiser ainda mais desempenho (ao custo de ser trivial para adulterar, e também menos propensos a detectar corrupção), você quer olhar para um hash CRC ou Adler. Dos dois, Adler é tipicamente mais rápido, mas mais fraco. Infelizmente, não estou ciente de nenhuma implementação de linha de comando realmente rápida; os programas no meu sistema são todos mais lentos que o md4 do OpenSSL.

Então, sua melhor aposta de velocidade é openssl md4 -r (a -r faz com que pareça uma saída md5sum).

Se você estiver disposto a fazer alguma programação e / ou programação mínima, veja O código de Mark Adler acabou no Stack Overflow e também xxhash . Se você tiver o SSE 4.2, não será capaz de superar a velocidade da instrução CRC de hardware.

¹ 1 TiB = 1024 ⁴ bytes; 1 MiB = 1024 ² bytes. Vem para 17417MB / s com potências de 1000 unidades.

o openssl comando suporta vários resumos de mensagens. Dos que eu pude tentar, md4 parece correr em cerca de 65% do tempo de md5e cerca de 54% do tempo de sha1 (para o arquivo que testei com).

Há também um md2 na documentação, mas parece dar os mesmos resultados que md5.

Mais ou menos, a velocidade parece estar inversamente relacionada à qualidade, mas como você (provavelmente) não está preocupado com a possibilidade de um adversário criar uma colisão deliberada, isso não deve ser um grande problema.

Você pode procurar por compilações de mensagens mais antigas e simples (houve md1, por exemplo)?

Um ponto menor: você tem um Uso inútil de cat. Ao invés de:

cat foo.box | nc <archive IP> 1234

você pode usar:

nc <archive IP> 1234 < foo.box

ou até mesmo:

< foo.box nc <archive IP> 1234

Isso economiza um processo, mas provavelmente não terá nenhum efeito significativo no desempenho.

Duas opções:

Usar sha1sum

sha1sum foo.box

Em algumas circunstâncias sha1sum é mais rápido .

Usar rsync

Levará mais tempo para ser transferido, mas o rsync verifica se o arquivo chegou intacto.

Na página do manual do rsync

Observe que o rsync sempre verifica se cada arquivo transferido   corretamente reconstruído no lado de recepção, verificando um arquivo inteiro   soma de verificação que é gerada conforme o arquivo é transferido ...

A ciência está progredindo. Parece que a nova função de hash BLAKE2 é mais rápida que a MD5 (e criptograficamente muito mais forte para inicializar).

Referência: https://leastauthority.com/blog/BLAKE2-harder-better-faster-stronger-than-MD5.html

Dos slides de Zooko:

cycles per byte on Intel Core i5-3210M (Ivy Bridge)
 ciclos de função por byte 
 mensagem longa 4096 B 64 B
MD5 5,0 5,2 13,1
SHA1 4,7 4,8 13,7
SHA256 12,8 13,0 30,0
Keccak 8,2 8,5 26,0
BLAKE1 5,8 6,0 14,9
BLAKE2 3,5 3,5 9,3 

Você provavelmente não pode fazer nada melhor do que um bom hash. Você pode querer verificar outras funções hash / checksum para ver se algum é significativamente mais rápido do que md5sum. Note que você pode não precisar de algo tão forte quanto o MD5. MD5 (e coisas como SHA1) são projetados para serem criptograficamente fortes, então é inviável para um atacante / impostor criar um novo arquivo que possui o mesmo valor de hash que um valor existente (isto é, dificultar a falsificação de e-mails assinados e outros documentos). Se você não está preocupado com um ataque às suas comunicações, mas apenas um erro de comunicação comum, algo como uma verificação cíclica de redundância (CRC) pode ser boa o suficiente. (Mas eu não sei se seria mais rápido.)

Outra abordagem é tentar fazer o hash em paralelo com a transferência. Isso pode reduzir o tempo total, e definitivamente poderia reduzir o fator de irritação de precisar esperar a transferência terminar, e espere novamente para o MD5 terminar. Eu não testei isso, mas deveria ser possível fazer algo assim:

• Na máquina de origem:

  mkfifo myfifo
  tee myfifo <  arquivo fonte  | nc  dest_host   número da porta  & amp; md5sum myfifo 

• Na máquina de destino:

  mkfifo myfifo
  nc -l -p  número da porta  | tee myfifo & gt;  dest_file  & amp; md5sum myfifo 

É claro que verificar os tamanhos dos arquivos é uma maneira boa e rápida de detectar se algum byte foi descartado.

Enviar arquivos enormes é uma dor. Por que não tentar dividir os arquivos gerando um hash para cada fragmento e depois enviá-lo para o destino e, em seguida, verificar o hash e juntar os fragmentos.

Você também pode configurar uma rede BitTorrent pessoal. Isso garantiria que tudo isso chegue com segurança.