Como posso encontrar vídeos duplicados em um grande conjunto de vídeos de formatos variados?

7

Depois de perder um dispositivo de backup com vários dos meus vídeos originais, tive que baixar um grande número deles (~ 300) do YouTube. Os novos downloads são uma mistura de MP4 e FLV, e os originais são uma mistura de praticamente qualquer formato de vídeo devido a muitas experiências.

Para piorar a situação, não há um corte claro para quando minhas cópias locais desapareceram; Eu encontrei um ponto em meus vídeos do youtube em ordem cronológica em que tenho alguns vídeos e outros. Eu tenho tentado eliminar manualmente vídeos onde já tenho uma cópia, mas com tantos vídeos, tenho certeza de que perdi alguns.

Como posso efetivamente passar por centenas de vídeos de diferentes formatos e eliminar duplicatas? Os nomes serão semelhantes, mas não idênticos. Os formatos podem ser diferentes e o tamanho do arquivo pode ser diferente devido a isso (e / ou diferenças de codificação). O tamanho do arquivo deve ser o mesmo e, visualmente, os vídeos devem ser semelhantes o suficiente, mas não tenho certeza de que exista alguma ferramenta para resolver isso visualmente.

Estou fadado a percorrer a lista com base no tempo de execução e procurar manualmente por duplicatas ou existe uma maneira melhor?

video Ben Brocka
fonte
11
Pergunta muito interessante!
Dr. Mayhem

Respostas:

11

Eu recomendaria uma abordagem híbrida usando computadores e pessoas.

  1. Amplie os vídeos pela duração (arredondar para o segundo mais próximo)
  2. Para cada intervalo, use ffmpeg para gerar miniaturas em um ponto previsível e uniforme nos vídeos (por exemplo: um quadro de 10 segundos no vídeo)
  3. Observe as miniaturas geradas em uma grade (a maioria dos sistemas operacionais oferece uma bela exibição em miniatura) e verifique se há duplicatas para remover.

Você não precisa fazer nenhuma programação para executar essas etapas, embora a criação das miniaturas na linha de comando com o ffmpeg possa exigir um pouco de requinte. Boa sorte!

jimbo
fonte
Miniaturas são uma ótima idéia! Os novos vídeos apareceram como FLV, que não consigo miniatura, não importa o que eu tente. Isso pode funcionar muito bem
Ben Brocka
O ffmpeg deve poder converter os arquivos flv em outra coisa (avi, mp4, etc).
jimbo
Sim, eu vou finalmente convertê-los para MP4, mas eu quero ter certeza que eu perder o mínimo de qualidade possível quando eu fizer isso, então eu colocá-lo fora até que eu possa ter o tempo
Ben Brocka
Se você quiser, poderá encontrar um programa que analise as miniaturas para encontrar duplicatas. No entanto, o tempo gasto na localização de um programa e na sua configuração não valeria a pena para um projeto pequeno.
Cole Johnson
@BenBrocka Outra solução é criar uma sequência de hash exclusiva (examinar 8 caracteres) do seu arquivo no momento do upload e armazená-la no seu banco de dados e adicionar uma condição na sequência exclusiva armazenada para verificar vídeos duplicados no momento do upload.
parsa 14/09/19
4

O software de reconhecimento de vídeo é, eu diria, um nicho de mercado, o que significa que você encontrará softwares muito caros e / ou softwares direcionados ao governo , à indústria cinematográfica e assim por diante.

Ele funciona com vídeo de "impressão digital" para que possa reconhecê-lo, apesar de diferentes formatos, compressões, cortes etc. Essa capacidade não é tão comum no mundo não forense (pelo menos ainda não).

Tentei encontrar algo que visasse os consumidores, mas não consegui encontrar nenhum. Existem APIs (interfaces de programação) que fornecem tecnologia para isso, e até de graça, mas você precisará desenvolver o software para usá-lo, o que tenho certeza de que está além do escopo do que você está solicitando.

Concluindo, a menos que você queira gastar uma quantia considerável de dinheiro em software especializado, precisará percorrer a pilha manualmente. No entanto, no meu link acima, você encontrará uma versão de avaliação desse software para ver se é isso que você está procurando e se funciona para o seu propósito.

Comunidade
fonte
o link está morto.
Hermann Ingjaldsson
1

Você pode experimentar o Video Comparer (shareware).

http://www.video-comparer.com

Ele detecta rapidamente vídeos semelhantes com transformações de imagem e suporta vídeos divididos em vários CDs.

Rigop
fonte
Este software não detectou vídeos semelhantes (mesma cena / pessoa separada por alguns minutos).
argila Nichols
1

Eu tive o mesmo problema recentemente e encontrei o programa que me ajudou. Não compara nomes de arquivos ou calcula hashes. Ele compara o conteúdo de vídeo real. Não é gratuito, mas se você não tiver muitas duplicatas, a versão de teste é suficiente. O link para o programa é http://duplicatevideosearch.com

Max Smirnoff
fonte