Comando Unix para encontrar linhas comuns em dois arquivos

Tenho certeza de que encontrei um comando unix que poderia imprimir as linhas comuns de dois ou mais arquivos. Alguém sabe o nome? Era muito mais simples que diff.

O comando que você está procurando é comm. por exemplo:-

comm -12 1.sorted.txt 2.sorted.txt

Aqui:

-1 : suprime a coluna 1 (linhas exclusivas para 1.sorted.txt)

-2 : suprime a coluna 2 (linhas exclusivas para 2.sorted.txt)

Para aplicar facilmente o comando comm a arquivos não classificados , use a substituição de processo do Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Portanto, os arquivos abc e def têm uma linha em comum, aquela com "132". Usando comm em arquivos não classificados:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

A última linha não produziu saída, a linha comum não foi descoberta.

Agora use comm em arquivos classificados, classificando os arquivos com substituição de processo:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Agora temos a linha 132!

Para complementar o one-liner Perl, aqui está o seu awkequivalente:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Isso lerá todas as linhas da file1matriz arr[]e, em seguida, verificará se cada linha file2já existe na matriz (ou seja file1). As linhas encontradas serão impressas na ordem em que aparecem file2. Observe que a comparação in arrusa a linha inteira de file2como índice para a matriz, portanto, somente reportará correspondências exatas em linhas inteiras.

Talvez você queira dizer comm?

Compare os arquivos classificados FILE1 e FILE2 linha por linha.

Sem opções, produza saída de três colunas. A coluna um contém linhas exclusivas para FILE1, a coluna dois contém linhas exclusivas para FILE2 e a coluna três contém linhas comuns aos dois arquivos.

O segredo para encontrar essas informações são as páginas de informações. Para programas GNU, eles são muito mais detalhados do que suas páginas de manual. Tente info coreutilse ele listará todos os pequenos utilitários úteis.

Enquanto

grep -v -f 1.txt 2.txt > 3.txt

fornece as diferenças de dois arquivos (o que está no 2.txt e não no 1.txt), você pode facilmente fazer um

grep -f 1.txt 2.txt > 3.txt

coletar todas as linhas comuns, o que deve fornecer uma solução fácil para o seu problema. Se você classificou os arquivos, você deve fazer isso comm. Saudações!

Se os dois arquivos ainda não foram classificados, você pode usar:

comm -12 <(sort a.txt) <(sort b.txt)

e funcionará, evitando a mensagem de erro comm: file 2 is not in sorted order ao fazê-lo comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Na versão limitada do Linux (como um QNAP (nas) em que eu estava trabalhando)):

• comm não existia
• grep -f file1 file2pode causar alguns problemas, como foi dito por @ChristopherSchultz, e o uso grep -F -f file1 file2foi muito lento (mais de 5 minutos - não foi concluído - mais de 2-3 segundos com o método abaixo em arquivos com mais de 20 MB)

Então aqui está o que eu fiz:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Se files.same.sorteddeve ter sido na mesma ordem que as originais, adicione esta linha pela mesma ordem que o arquivo1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

ou, pela mesma ordem que o arquivo2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Apenas para referência, se alguém ainda estiver pensando em como fazer isso para vários arquivos, consulte a resposta vinculada a Localização de linhas correspondentes em muitos arquivos.

Combinando essas duas respostas ( ans1 e ans2 ), acho que você pode obter o resultado que precisa sem classificar os arquivos:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Simplesmente salve, conceda direitos de execução ( chmod +x compareFiles.sh) e execute-o. Ele pegará todos os arquivos presentes no diretório de trabalho atual e fará uma comparação entre todos, deixando no arquivo "matching_lines" o resultado.

Coisas a serem melhoradas:

• Ignorar diretórios
• Evite comparar todos os arquivos duas vezes (arquivo1 x arquivo2 e arquivo2 x arquivo1).
• Talvez adicione o número da linha ao lado da string correspondente

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Isso deve servir.