Compare duas listas de URLs e imprima URLs recém-adicionados a um novo arquivo

Inicialmente, estou produzindo dois arquivos que contêm listas de URLs - os referirei como olde new. Gostaria de comparar os dois arquivos e, se houver algum URL no newarquivo que não esteja no oldarquivo, gostaria que eles fossem exibidos em um extra_urlsarquivo.

Agora, eu li algumas coisas sobre o uso do diffcomando, mas pelo que sei, isso também analisa a ordem das informações. Não quero que a ordem tenha nenhum efeito na saída. Eu só quero que os URLs extras sejam newimpressos no extra_urlsarquivo, independentemente da ordem em que eles são colocados nos outros dois arquivos.

Como posso fazer isso?

Você pode usar o commcomando para comparar dois arquivos e mostrar seletivamente linhas exclusivas para um ou outro, ou as linhas em comum. Requer que as entradas sejam classificadas, mas você pode classificá-las em tempo real, usando a substituição de processo.

comm -13 <(sort old.txt) <(sort new.txt)

Se você estiver usando uma versão bashque não suporta substituição de processo, ela poderá ser emulada usando pipes nomeados. Um exemplo é mostrado na Wikipedia .

Eu usaria apenas grep:

grep -vFf old new > extra_urls

Explicação

• -f: diz greppara ler seus padrões de pesquisa de um arquivo. Nesse caso old,.
• -v : diz ao grep para inverter a correspondência, para imprimir apenas linhas não correspondentes.
• -F: diz ao grep para interpretar seus padrões de pesquisa como strings, não como expressões regulares. Dessa forma, o .URL será correspondido literalmente.

Combinadas, elas grepimprimem as linhas newque não estavam old. A ordem dos URLs no arquivo é irrelevante.

Como a ordem é importante para você, use awk

awk '
    NR == FNR {old[$1]=1; next}
    !($1 in old)
' old new > extra

Eu tenho um aplicativo chamado meld. Permite visualizar os dois (ou três) arquivos, lado a lado, mostra as diferenças e permite a cópia seletiva de um para o outro ou a exclusão de caracteres.

O Meld pode ser instalado a partir de um terminal com

sudo apt-get install meld