como mostrar linhas em comum (diff reverso)?

Eu tenho uma série de arquivos de texto para os quais gostaria de conhecer as linhas em comum e não as linhas diferentes entre elas. Linha de comando unix ou windows está bem.

foo:

linux-vdso.so.1 =>  (0x00007fffccffe000)
libvlc.so.2 => /usr/lib/libvlc.so.2 (0x00007f0dc4b0b000)
libvlccore.so.0 => /usr/lib/libvlccore.so.0 (0x00007f0dc483f000)
libc.so.6 => /lib/libc.so.6 (0x00007f0dc44cd000)

Barra:

libkdeui.so.5 => /usr/lib/libkdeui.so.5 (0x00007f716ae22000)
libkio.so.5 => /usr/lib/libkio.so.5 (0x00007f716a96d000)
linux-vdso.so.1 =>  (0x00007fffccffe000)

Portanto, considerando esses dois arquivos acima, a saída do utilitário desejado seria semelhante a file1:line_number, file2:line_number == matching text (apenas uma sugestão, eu realmente não me importo com a sintaxe):

foo:1, bar:3 == linux-vdso.so.1 =>  (0x00007fffccffe000)

obrigado.

No * nix, você pode usar comm . A resposta para a pergunta é:

comm -1 -2 file1.sorted file2.sorted 
# where file1 and file2 are sorted and piped into *.sorted

Aqui está o uso completo de comm:

comm [-1] [-2] [-3 ] file1 file2
-1 Suppress the output column of lines unique to file1.
-2 Suppress the output column of lines unique to file2.
-3 Suppress the output column of lines duplicated in file1 and file2. 

Observe também que é importante classificar os arquivos antes de usar o comm, conforme mencionado nas páginas de manual.

Encontrei esta resposta em uma pergunta listada como duplicada . Acho que o grep é mais amigável ao administrador que o comm, portanto, se você quiser apenas o conjunto de linhas correspondentes (útil para comparar CSVs, por exemplo), basta usar

grep -F -x -f file1 file2

ou a versão simplificada do fgrep

fgrep -xf file1 file2

Além disso, você pode usar o file2*glob e procurar linhas em comum com vários arquivos, em vez de apenas dois.

Algumas outras variações úteis incluem

• -n flag para mostrar o número da linha de cada linha correspondente
• -c para contar apenas o número de linhas que correspondem
• -vpara exibir apenas as linhas no arquivo2 que diferem (ou usam diff).

O uso commé mais rápido, mas essa velocidade custa às custas de ter que classificar seus arquivos primeiro. Não é muito útil como um 'diff reverso'.

Foi perguntado aqui antes: comando Unix para encontrar linhas comuns em dois arquivos

Você também pode tentar com perl (o crédito vai aqui )

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

Acabei de aprender o comando comm neste segmento, mas queria adicionar algo extra: se os arquivos não forem classificados e você não quiser tocar nos arquivos originais, poderá canalizar o outptut do comando sort. Isso deixa os arquivos originais intactos. Funciona no bash, não posso dizer sobre outras conchas.

comm -1 -2 <(sort file1) <(sort file2)

Isso pode ser estendido para comparar a saída do comando, em vez dos arquivos:

comm -1 -2 <(ls /dir1 | sort) <(ls /dir2 | sort)

A maneira mais fácil de fazer é:

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Os arquivos não são necessários para serem classificados.

Apenas para informação, criei uma pequena ferramenta para o Windows fazendo a mesma coisa que "grep -F -x -f arquivo1 arquivo2" (como não encontrei nada equivalente a este comando no Windows)

Aqui está: http://www.nerdzcore.com/?page=commonlines

O uso é "CommonLines inputFile1 inputFile2 outputFile"

O código fonte também está disponível (GPL)

No Windows, você pode usar um script do Powershell com CompareObject

compare-object -IncludeEqual -ExcludeDifferent -PassThru (get-content A.txt) (get-content B.txt)> MATCHING.txt | Out-Null #Find Matching Lines

CompareObject:

• IncludeEqual sem -ExcludeDifferent: Tudo
• ExcludeDifferent sem -InclueEqual: Nothing