Como comparar partes de arquivos por hash?

Eu tenho um arquivo baixado com sucesso e outro com falha no download (apenas os primeiros 100 MB de um arquivo grande) que suspeito ser o mesmo arquivo.

Para verificar isso, gostaria de verificar seus hashes, mas como tenho apenas uma parte do arquivo baixado sem êxito, quero apenas fazer o hash dos primeiros megabytes.

Como eu faço isso?

O sistema operacional seria o Windows, mas eu tenho o Cygwin e o MinGW instalados.

Criar hashes para comparar arquivos faz sentido se você comparar um arquivo com muitos ou quando comparar muitos arquivos entre si.

Não faz sentido ao comparar dois arquivos apenas uma vez: O esforço para calcular os hashes é pelo menos tão alto quanto caminhar sobre os arquivos e compará-los diretamente.

Uma ferramenta eficiente de comparação de arquivos é cmp:

cmp --bytes $((100 * 1024 * 1024)) file1 file2 && echo "File fragments are identical"

Você também pode combiná-lo com ddpara comparar partes arbitrárias (não necessariamente desde o início) de dois arquivos, por exemplo:

cmp \
    <(dd if=file1 bs=100M count=1 skip=1 2>/dev/null) \
    <(dd if=file2 bs=100M count=1 skip=1 2>/dev/null) \
&& echo "File fragments are identical"

Me desculpe, eu não posso exatamente tentar isso, mas desta forma vai funcionar

dd if=yourfile.zip of=first100mb1.dat bs=100M count=1
dd if=yourotherfile.zip of=first100mb2.dat bs=100M count=1

Isso lhe dará os primeiros 100 megabytes de ambos os arquivos.

Agora pegue os hashes:

sha256sum first100mb1.dat && sha256sum first100mb2.dat 

Você também pode executá-lo diretamente:

dd if=yourfile.zip bs=100M count=1 | sha256sum 
dd if=yourotherfile.zip bs=100M count=1 | sha256sum 

Todo mundo parece seguir a rota Unix / Linux com isso, mas apenas comparar dois arquivos pode ser feito facilmente com os comandos padrão do Windows:
FC /B file file2

O FC está presente em todas as versões do Windows NT já criadas. E (se bem me lembro) também estava presente no DOS.
É um pouco lento, mas isso não importa para o uso único.

Você pode apenas comparar diretamente os arquivos, com um programa binário / hex diff vbindiff. Ele compara rapidamente arquivos de até 4 GB no Linux e Windows.

Parece algo assim, apenas com a diferença destacada em vermelho (1B vs 1C):

one                                       
0000 0000: 30 5C 72 A7 1B 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....
0000 0020:
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080: 
0000 0090: 
0000 00A0: 

two        
0000 0000: 30 5C 72 A7 1C 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....               
0000 0020: 
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080:
0000 0090:                                
0000 00A0:             
┌──────────────────────────────────────────────────────────────────────────────┐
│Arrow keys move  F find      RET next difference  ESC quit  T move top        │
│C ASCII/EBCDIC   E edit file   G goto position      Q quit  B move bottom     │
└──────────────────────────────────────────────────────────────────────────────┘ 

Eu sei que diz para Bash, mas OP também afirma que eles têm Windows. Para quem quer / requer uma solução do Windows, existe um programa chamado HxD, que é um editor hexadecimal que pode comparar dois arquivos. Se os arquivos tiverem tamanhos diferentes, será informado se as peças disponíveis são as mesmas. E, se necessário, é capaz de executar somas de verificação para o que estiver selecionado no momento. É gratuito e pode ser baixado no site HxD . Não tenho nenhuma conexão com o (s) autor (es), apenas uso-o há anos.

O cmp informará quando dois arquivos são idênticos até o tamanho do arquivo menor:

$ dd if=/dev/random bs=8192 count=8192 > a
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.514571 secs (130417197 bytes/sec)
$ cp a b
$ dd if=/dev/random bs=8192 count=8192 >> b 
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.512228 secs (131013601 bytes/sec)
$ cmp a b
cmp: EOF on a

O cmp está dizendo que a comparação encontrou um EOF no arquivo a antes de detectar qualquer diferença entre os dois arquivos.