TL; DR: use Visipics.
O que você procura é chamado de pesquisa reversa de imagens :
[É uma] técnica que envolve fornecer uma imagem de amostra na qual [o sistema] baseará sua pesquisa; em termos de recuperação de informações, a imagem de amostra é o que formula uma consulta de pesquisa.
As pesquisas de imagens reversas mais populares são baseadas na Web, como o TinEye e até a Pesquisa de imagens do Google .
Esses, no entanto, procurarão nas imagens presentes na web; o que você precisa é de uma ferramenta que realize a pesquisa reversa de imagens nos arquivos do seu computador.
Bem, o Visipics faz exatamente o que você precisa, é gratuito, roda em Windows (2000, 2003, XP, Vista, Seven) e Linux (via Wine). Eu o usei no passado e é muito rápido, suporta JPG, PNG e RAW e pode ter seu filtro de sensibilidade personalizado manualmente.
Do site oficial:
O VisiPics faz mais do que apenas procurar arquivos idênticos, vai além das somas de verificação para procurar imagens semelhantes e (...) aplica cinco filtros de comparação de imagens para medir o quão próximos são os pares de imagens no disco rígido.
Visipic é consideravelmente mais rápido que qualquer outro produto comercial e (...) detecta dois arquivos de resolução diferentes da mesma imagem que uma duplicata, ou a mesma imagem salva em diferentes formatos, ou duplicatas em que apenas pequenas alterações cosméticas ocorreram.