Existe um localizador de imagens duplicadas de código aberto e gratuito para sistemas baseados em Linux? Encontrar duplicatas exatas (com base no conteúdo, não no nome do arquivo) é suficiente para mim, mas a capacidade de encontrar imagens semelhantes certamente seria ótima...
Eu tenho uma string como "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Eu quero remover a palavra duplicada da string e a saída será como "aaa,bbb,ccc" Eu tentei este código fonte $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Está funcionando bem com o mesmo valor, mas...
Eu tenho uma pasta com arquivos duplicados (por md5sum( md5em um Mac)) e quero ter umcron trabalho agendado para remover qualquer encontrado. No entanto, eu estou preso em como fazer isso. O que tenho até agora: md5 -r * | sort Que gera algo como isto: 04c5d52b7acdfbecd5f3bdd8a39bf8fb...
Eu tenho uma enorme biblioteca de músicas (todas mp3), mas algumas das músicas são quase as mesmas, mas: Talvez um ou dois segundos a mais Aproximadamente 97% o mesmo que outra música Ou outra taxa de bits. Existe uma maneira de encontrar essas duplicatas? Como mencionado, eles não têm o mesmo...
Estou executando o Mac OSX e tentando usar a linha de comando para encontrar o número de arquivos que tenho com o mesmo nome. Eu tentei usar o seguinte comando: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Isso não funciona! Quando eu faço o seguinte: find...
Algumas revistas geram um PDF diferente para cada download. O APS, por exemplo, armazena o tempo e o endereço IP no PDF. Ou há uma versão em papel com hiperlinks e outra com referências de texto. Como é possível encontrar downloads duplicados de papéis com conteúdo igual a 90% em um sistema...
Esta pergunta / resposta tem algumas boas soluções para excluir linhas idênticas em um arquivo, mas não funcionará no meu caso, pois as linhas duplicadas têm um carimbo de data / hora. É possível dizer ao awk para ignorar os primeiros 26 caracteres de uma linha na determinação de duplicatas?...