Compare dois arquivos linha por linha e gere a diferença em outro arquivo

Quero comparar o arquivo1 com o arquivo2 e gerar um arquivo3 que contém as linhas do arquivo1 que não estão presentes no arquivo2.

diff (1) não é a resposta, mas comm (1) é.

NAME
       comm - compare two sorted files line by line

SYNOPSIS
       comm [OPTION]... FILE1 FILE2

...

       -1     suppress lines unique to FILE1

       -2     suppress lines unique to FILE2

       -3     suppress lines that appear in both files

assim

comm -2 -3 file1 file2 > file3

Os arquivos de entrada devem ser classificados. Se não forem, classifique-os primeiro. Isso pode ser feito com um arquivo temporário ou ...

comm -2 -3 <(sort file1) <(sort file2) > file3

desde que seu shell suporte substituição de processo (bash faz).

O utilitário Unix diffé feito exatamente para esse propósito.

$ diff -u file1 file2 > file3

Consulte o manual e a Internet para opções, diferentes formatos de saída, etc.

Considere o seguinte:
arquivo a.txt:

abcd
efgh

arquivo b.txt:

abcd

Você pode encontrar a diferença com:

diff -a --suppress-common-lines -y a.txt b.txt

O resultado será:

efgh 

Você pode redirecionar a saída em um arquivo de saída (c.txt) usando:

diff -a --suppress-common-lines -y a.txt b.txt > c.txt

Isso vai responder à sua pergunta:

"... que contém as linhas no arquivo1 que não estão presentes no arquivo2."

Às vezes diffé o utilitário de que você precisa, mas às vezes joiné mais apropriado. Os arquivos precisam ser pré-classificados ou, se você estiver usando um shell que suporte a substituição de processos, como bash, ksh ou zsh, você pode fazer a classificação em tempo real.

join -v 1 <(sort file1) <(sort file2)

Experimentar

sdiff file1 file2

Normalmente funciona muito melhor na maioria dos casos para mim. Você pode querer classificar os arquivos antes, se a ordem das linhas não for importante (por exemplo, alguns arquivos de configuração de texto).

Por exemplo,

sdiff -w 185 file1.cfg file2.cfg

Se você precisa resolver isso com coreutils, a resposta aceita é boa:

comm -23 <(sort file1) <(sort file2) > file3

Você também pode usar sd (stream diff), que não requer classificação nem substituição de processo e suporta fluxos infinitos, assim:

cat file1 | sd 'cat file2' > file3

Provavelmente não é um grande benefício neste exemplo, mas ainda considere isso; em alguns casos você não poderá usar commnem grep -Fnem diff.

Aqui está uma postagem de blog que escrevi sobre diffing streams no terminal, que apresenta o sd.

Ainda assim, nenhuma grepsolução?

• linhas que existem apenas no arquivo 2:

  grep -Fxvf file1 file2 > file3

• linhas que existem apenas no arquivo 1:

  grep -Fxvf file2 file1 > file3

• linhas que existem em ambos os arquivos:

  grep -Fxf file1 file2 > file3

Muitas respostas já, mas nenhuma delas IMHO perfeito. A resposta de Thanatos deixa alguns caracteres extras por linha e a resposta de Sorpigal exige que os arquivos sejam classificados ou pré-classificados, o que pode não ser adequado em todas as circunstâncias.

Acho que a melhor maneira de obter as linhas que são diferentes e nada mais (não caracteres extras, sem re-ordenação) é uma combinação de diff, grepeawk (ou similar).

Se as linhas não contêm nenhum "<", uma linha curta pode ser:

diff urls.txt* | grep "<" | sed 's/< //g'

mas isso removerá todas as instâncias de "<" (menos que, espaço) das linhas, o que nem sempre está OK (por exemplo, código-fonte). A opção mais segura é usar o awk:

diff urls.txt* | grep "<" | awk '{for (i=2; i<NF; i++) printf $i " "; print $NF}'

Este one-liner diffs ambos os arquivos, então filtra a saída do estilo ed do diff, então remove o "<" que o diff adiciona. Isso funciona mesmo se as linhas contiverem alguns "<".

Eu não sou ninguém surpreso mencionado diff -ypara produzir uma saída de side-by-side , por exemplo:

diff -y file1 file2 > file3

E em file3(as diferentes linhas têm um símbolo |no meio):

same     same
diff_1 | diff_2

Use o utilitário Diff e extraia apenas as linhas que começam com <na saída

diff a1.txt a2.txt | grep '> ' | sed 's/> //' > a3.txt

Tentei quase todas as respostas neste tópico, mas nenhuma foi completa. Depois de algumas trilhas acima, uma funcionou para mim. diff lhe dará diferença, mas com alguns charas especiais indesejados. onde suas linhas de diferença reais começam com '>'. então o próximo passo é fazer o grep das linhas começar com '>' e, em seguida, remover as mesmas com sed .

Você pode usar diffcom a seguinte formatação de saída:

diff --old-line-format='' --unchanged-line-format='' file1 file2

--old-line-format='', desabilite a saída para arquivo1 se a linha for diferente compare em arquivo2.
--unchanged-line-format='', desative a saída se as linhas forem iguais.