Alguém pode sugerir um bom utilitário de detecção de duplicação de fotos que funcione bem quando estou lidando com cerca de 100 GB de dados (coletados ao longo dos anos)?
Eu preferiria algo que funcione no Ubuntu.
Desde já, obrigado!
Editar: Existe uma ferramenta que me ajude a reorganizar minha coleção e remover duplicatas, depois que elas forem detectadas?
Edit2: A parte difícil é descobrir o que fazer quando eu tiver a saída composta por milhares de arquivos duplicados (como a saída de fdupes).
Não é óbvio se eu ainda posso excluir com segurança um diretório (ou seja, se um diretório pode conter arquivos exclusivos), quais diretórios são subconjuntos de outros diretórios e assim por diante. Uma ferramenta ideal para esse problema deve ser capaz de determinar a duplicação de arquivos e fornecer um meio poderoso de reestruturar seus arquivos e pastas. Fazer uma fusão por meio de links físicos (como o fslint) realmente libera espaço em disco, mas não resolve o problema subjacente que deu origem à duplicação para começar - ou seja, organização ruim de arquivos / diretórios.
fonte
Respostas:
ImageMagick para o resgate. Acho que o primeiro passo para qualquer solução é reduzir o tamanho da sua coleção. Se você deseja comparar as fotos pelo seu conteúdo , especialmente quando algumas são versões ligeiramente modificadas uma da outra, um bom começo é reduzi-las a miniaturas e depois comparar as miniaturas. Isso é particularmente útil quando você deseja encontrar fotos semelhantes e deseja "ignorar" diferenças sem importância durante a comparação.
Minha sugestão é, em alto nível, que você:
1- Use a ferramenta mogrify do ImageMagick para reduzir as fotos em miniaturas. Isso levará algum tempo, mas tornará as etapas de comparação reais muito mais rápidas e precisas.
2- Use a ferramenta de comparação do ImageMagick, que permite definir um limite para comparação, ou seja, permite encontrar fotos com 85% de diferença. Você deseja fazer um experimento controlado para descobrir o valor limite que mais gosta.
fonte
O visualizador / organizador de fotos de código aberto Geeqie possui um poderoso recurso Localizar duplicatas . Ele pode usar várias estratégias diferentes para encontrar duplicatas:
Isso fornece uma lista de resultados que pode incluir miniaturas para que você possa confirmar manualmente.
Isto irá provavelmente ser lento para milhares de arquivos, mas acho que apenas usá-lo e deixá-lo correr por alguns dias ou o que é provavelmente menos esforço global do que encontrar ou fazer algo sob medida para o caso - a menos que jogo de soma de verificação é tudo que você precisa.
fonte
Existe um pequeno utilitário chamado "fdupes" que pode fazer o que você deseja?
Há também outro utilitário chamado "fslint" que você também pode experimentar. (Este aqui tem uma GUI).
fonte
fdupes
- há uma opção para excluir os dupes. askubuntu.com/a/476732O dupeGuru Picture Edition é um localizador de imagens duplicadas personalizável para Windows, Mac OS X e Linux.
Existem algumas versões do dupeGuru (edições padrão, de música e de imagem), e a edição de imagens permite encontrar imagens visualmente semelhantes por meio de um algoritmo de comparação de bloqueio de bitmap , entre outros métodos (como o carimbo de data / hora da imagem original EXIF ou os arquivos simplesmente idênticos) .
Possui vários outros recursos úteis, como pastas excluídas, suporte para bibliotecas do iPhoto / Aperture e considerável personalização de como ele detecta duplicatas e o que faz com elas.
fonte
O que você quer dizer com fotos duplicadas? Você quer dizer arquivos idênticos, digamos, apenas copiei um tempo extra ou dois? ou você quer dizer que as fotos "parecem" iguais?
Se você quer dizer arquivos idênticos, pode usar 'shasum' em todos os arquivos, depois ordene os resultados e encontre as linhas exclusivas com 'uniq' e execute um 'diff' para ver o que foi eliminado. Tudo fácil em um shell do Ubuntu.
fonte
Existe uma aplicação chamada "bleachbit", que encontra arquivos duplicados por tamanho, nome e outros filtros. Você pode instalá-lo a partir do gerenciador de pacotes sinápticos no ubuntu.
fonte