Existe uma ferramenta para obter as linhas em um arquivo que não estão em outro?

Existe alguma ferramenta que possa obter linhas que o arquivo A contém, mas o arquivo B não? Eu poderia criar um script simples com, por exemplo, perl, mas se algo assim já existir, economizarei meu tempo a partir de agora.

Sim. A grepferramenta padrão para procurar arquivos por cadeias de texto pode ser usada para subtrair todas as linhas de um arquivo de outro.

grep -F -x -v -f fileB fileA

Isso funciona usando cada linha no arquivo B como um padrão ( -f fileB) e tratando-a como uma sequência simples para corresponder (não uma expressão regular regular) ( -F). Você força a correspondência a ocorrer em toda a linha ( -x) e imprime apenas as linhas que não correspondem ( -v). Portanto, você está imprimindo as linhas no arquivo A que não contêm os mesmos dados que qualquer linha no arquivoB.

A desvantagem desta solução é que ela não leva em consideração a ordem das linhas e, se sua entrada tiver linhas duplicadas em locais diferentes, você poderá não obter o que espera. A solução para isso é usar uma ferramenta de comparação real, como diff. Você pode fazer isso criando um arquivo diff com o valor de contexto em 100% das linhas no arquivo e analisando-o apenas para as linhas que seriam removidas se converter o arquivo A para o arquivo B. _{(Observe que este comando também remove o diff depois de obter as linhas corretas.)}

diff -U $(wc -l < fileA) fileA fileB | sed -n 's/^-//p' > fileC

A resposta depende muito do tipo e formato dos arquivos que você está comparando.

Se os arquivos que você está comparando são arquivos de texto classificados, a ferramenta GNU escrita por Richard Stallman e Davide McKenzie chamada commpode executar a filtragem que você procura. Faz parte dos coreutils.

Exemplo

Digamos que você tenha os 2 arquivos a seguir:

$ cat a
1
2
3
4
5

$ cat b
1
2
3
4
5
6

Linhas no arquivo bque não estão no arquivo a:

$ comm <(sort a) <(sort b) -3
    6

de stackoverflow ...

comm -23 arquivo1 arquivo2

-23 suprime as linhas que estão nos dois arquivos ou apenas no arquivo 2. Os arquivos precisam ser classificados (eles estão no seu exemplo), mas, se não estiverem, direcione-os primeiro pela classificação ...

Veja a página de manual aqui

Os métodos grep e comm (com classificação) demoram muito tempo em arquivos grandes. O SiegeX e o ghostdog74 compartilharam dois ótimos métodos awk para extrair linhas exclusivas para um dos dois arquivos no Stack Overflow:

$ awk 'FNR==NR{a[$0]++}FNR!=NR && !a[$0]{print}' file1 file2

$ awk 'FNR==NR{a[$0]++;next}(!($0 in a))' file1 file2

Se os arquivos forem grandes e você não tiver um pedido personalizado para suas entradas, o grep levará muito tempo. Uma alternativa rápida seria

sort file1 > 1 
sort file2 > 2 
diff 1 2 | grep "\>" | sed -e 's/> //'

[arquivo2-arquivo1 resulta em tela, canal para arquivo etc.]

Mudar >para <obteria a subtração oposta.rm 1 2

Você também pode considerar o vimdiff, que destaca as diferenças entre os arquivos em um editor do vim