Eu tenho dois arquivos grandes (6 GB cada). Eles não são classificados, com alimentações de linha ( \n) como separadores. Como posso diferenciá-los? Deve demorar menos de 24h.
A resposta mais óbvia é apenas usar o comando diff e provavelmente é uma boa ideia adicionar o parâmetro --speed-large-files a ele.
diff --speed-large-files a.file b.file
Como você menciona arquivos não classificados, talvez seja necessário classificá-los primeiro
sort a.file > a.file.sorted
sort b.file > b.file.sorted
diff --speed-large-files a.file.sorted b.file.sorted
você pode salvar a criação de um arquivo de saída extra canalizando a saída de 2ª ordem diretamente para o diff
sort a.file > a.file.sorted
sort b.file | diff --speed-large-files a.file.sorted -
Obviamente, eles funcionarão melhor em um sistema com muita memória disponível e você provavelmente precisará de muito espaço livre em disco também.
Não ficou claro em sua pergunta se você já tentou isso antes. Nesse caso, seria útil saber o que deu errado (demorou muito, etc.). Sempre achei que os comandos de classificação e difusão de ações tendem a executar pelo menos tão bem quanto os comandos personalizados, a menos que existam algumas propriedades específicas dos domínios dos arquivos que possibilitem fazer as coisas de maneira diferente.
mkfifopara criar[ab].file.sortedantes de usá-los como saída parasort. Coloque ambossorts com&em segundo plano e use os dois tubos como nomes de arquivos para diff.diff <(command 1) <(command 2)<(cmd1) <(cmd2)sintaxe funciona (como parece redirecionar a entrada padrão duas vezes!), Tenteecho hello <(cmd1) <(cmd2). Você vai ver algo comohello /dev/fd/63 /dev/fd/62que de repente deixa claro;)--speed-large-filesopção não ajuda se você não tiver RAM suficiente. Além disso, a pré-classificação não é útil se você tiver uma estrutura de registros com várias linhas que deseja preservar. As opções mencionadas acima (por @unhammer) são interessantes, mas a saídardiffebsdiffé bastante binária. Instalar abdiffpartir da Caixa de ferramentas do Heirloom parece uma tarefa assustadora (requer devtools do Heirloom, arquivos de cabeçalho extintos, ...). Realmente vale o esforço? Existem outras alternativas?Classificar as entradas e informar ao
diffprograma que as entradas são classificadas proporcionaria uma grande velocidade. Eu não conheço nenhumdiffcom uma opção como essa, mascommassume entradas classificadas e será muito mais rápido se fizer o suficiente para seus propósitos.fonte
commfuncionou muito bem para isso, nunca ouvi falar disso antes, mas aparentemente está em coreutils.