Em nosso aplicativo de estabilização de imagem de vídeo em veículo aéreo não tripulado em escala de cinza, estamos tendo dificuldade em encontrar os "bons" cantos de Harris no quadro N + 1 selecionado no quadro N. A fonte da dificuldade parece ser uma mudança radical não uniforme do contraste de pixels entre os quadros. Talvez estar no ar e usar uma taxa de quadros lenta (~ 3 qps) seja a causa principal da mudança de contraste de pixel.
Tentamos várias técnicas de equalização de histograma para tentar suavizar os contrastes de pixel entre os quadros, a fim de melhorar o rastreamento dos "bons" cantos de Harris no quadro N + 1. Os resultados continuam ruins.
Alguém tem alguma sugestão sobre como melhorar o rastreamento de canto da Harris entre os quadros de vídeo em um ambiente aéreo diurno com taxa de quadros lenta? Agradeço gentilmente com antecedência.
Edit: 30 Jan 2012, adicionadas imagens de caso de teste (não tamanho real do quadro)
Resumo da atualização: 8 de fevereiro de 2012. As pessoas sugerem que os cantos de Harris não são tão úteis no rastreamento de recursos de vídeo em escala de cinza. As respostas abaixo sugerem e fornecem links para várias alternativas. Estamos avaliando essas alternativas e relatarei os resultados quando chegarmos a esse ponto. Obrigado a todos por seus comentários e respostas.
Aqui está o quadro anterior N com 35 "bons" cantos harris 5x5 selecionados. O quadro original é de 8 bpp pixels brutos.
Aqui está um excelente canto Harris 5x5 localizado na linha 59 col 266:
O quadro atual N + 1 com alguns cantos 5x5 Harris rastreados, apenas um dos quais é válido:
O canto anterior do quadro 5x5 Harris que aparece no quadro N + 1 na r47 c145:
Observe como as intensidades de pixel no 5x5 selecionado foram alteradas de maneira não uniforme do quadro anterior para o quadro atual. As técnicas de equalização de contraste entre os quadros não ajudam na detecção de quadros anteriores selecionados 5x5 pixels no quadro atual. Todas as sugestões são bem-vindas.
fonte
Respostas:
Você pode tentar um detector de recurso diferente? RÁPIDO pode ser, erm, mais rápido, e uma taxa de quadros mais alta facilitará a correspondência (assumindo que seus recursos estejam se movendo muito entre os quadros)
Parece que você está tentando usar a região da escala de cinza em torno do ponto de recurso identificado para corresponder de quadro a quadro. Este é provável que seja pobre, especialmente se houver muito movimento entre os quadros.
Você pode obter melhor desempenho usando o que geralmente é chamado de "descritor" da região em torno do ponto do recurso no qual corresponder.
Alguns descritores possíveis são usados nos algoritmos SURF e SIFT - eles também têm técnicas para identificar regiões a serem rastreadas, mas você ignorou o requisito. Um descritor mais simples projetado para uso na correspondência estéreo-visão é a transformação Censo, embora isso possa não funcionar tão bem na correspondência de quadro a quadro, pelo mesmo motivo que o método atual (que também é amplamente utilizado na visão estéreo)
O livro para ler sobre isso é Geometria de Múltiplas Visões no Computer Vision .
fonte
Como alternativa a SIFT / SURF / Other, você também pode usar a correlação de fase FFT, se os quadros forem transformados pela maioria das traduções (rotação / perspectiva é pequena). Você também pode aplicar a correlação de fase às regiões da imagem de forma iterativa para obter melhor precisão.
http://en.wikipedia.org/wiki/Phase_correlation
fonte
Se você estiver tentando alinhar as duas imagens, use um detector de recurso local melhor. SIFT é provavelmente o mais popular / bem-sucedido a se usar.
fonte
Eu acho que é melhor usar Shi e Tomasi, você pode usá-los com a mesma função goodfeaturestotrack, deu melhores resultados do que os cantos de Harris
fonte