Como o detector de recursos Hessian funciona?

Conheço o detector de canto Harris e entendo a idéia básica de sua matriz de segundo momento ,

Mas sobre o detector Hessian, ele usa a matriz Hessian para detectar pontos-chave e remover arestas,

Vou tentar evitar a matemática, porque os tutoriais de matemática e "como fazê-lo" podem ser facilmente encontrados.

Então, começo apontando uma coisa MUITO importante: não se calcula Harris para um único pixel, mas para uma vizinhança (um pedaço de imagem) em torno desse pixel! Deixei$I(i)_{xx}, I(i)_{xy} ...$ ser seus derivados por um ponto $i_0$, então,

$H = \left[ \begin{array}{cc} \sum_{i\in V}I(i)_{xx} w (i-i_0) & \sum_{i\in V}I(i)_{xy}w (i-i_0) \\ \sum_{i\in V}I(i)_{xy} w (i-i_0)& \sum_{i\in V}I(i)_{yy} w (i-i_0)\\ \end{array} \right]$

o $w(t)$é um núcleo gaussiano. O eq anterior diz para você integrar os valores derivativos nas proximidades$V$em torno do pixel atual. Cada valor dos vizinhos é multiplicado por um valor que diminui à medida que a distância aumenta. A lei da diminuição segue uma gaussiana, porque$w(t)$ é Gaussian centrado em $i_0$. E é isso com a matemática.

Agora, voltando às observações empíricas. Se você usar apenas as derivadas e esse pixel fizer parte de uma estrutura linear (aresta), obterá uma forte resposta para as derivadas. Por outro lado, se o pixel estiver em um canto (uma interseção de duas arestas), as respostas derivadas serão canceladas.

Dizendo isso, o Hessian é capaz de capturar a estrutura local naquela vizinhança sem o efeito de "cancelamento". MAS muito importante, você precisa se integrar para obter um Hessian adequado.

Tendo um Hessian, obtido usando o método Harris ou por outros meios, pode-se extrair informações sobre a vizinhança. Existem métodos para obter valores numéricos sobre a probabilidade de ter uma aresta no pixel atual, em um canto, etc. Verifique a teoria de detecção de canto.

Agora, sobre "pontos estáveis" ou pontos salientes. Imagine que você está em uma cidade estrangeira sem GPS e apenas com um bom mapa. Se você for "teleportado" no meio de uma rua, poderá localizá-la no mapa, mas não poderá dizer onde está exatamente nessa rua ou em que direção deve se mover para a esquerda ou para a direita (escrita no mapa ) Imagine agora que você está em um cruzamento. Então, você pode apontar sua posição no mapa com precisão! (Obviamente, suponha que duas ruas não se cruzem mais de uma vez).

Imagine agora que você deve combinar duas imagens. Um atua como um mapa e o outro como a cidade. Você deve encontrar pixels que possam ser descritos exclusivamente, para fazer a correspondência. Verifique as imagens nesta postagem, por exemplo, de correspondência. Esses pontos são chamados de pontos salientes. Além disso, os pontos dos cantos tendem a não alterar suas propriedades de "curvatura" quando a imagem é dimensionada, traduzida, girada, inclinada etc. (transformações afins) É por isso que são chamados de "estáveis".

Alguns pontos da imagem permitem identificá-los exclusivamente. Esses pixels estão localizados nos cantos ou na interseção de linhas. Imagine que sua vizinhança$V$está em uma linha. Exceto pela orientação da linha, você não pode encontrar mais nada a partir dessa vizinhança. Mas se$V$ está em uma esquina, você pode descobrir as direções das linhas que se cruzam, talvez o ângulo etc.

Nem todos os pontos de canto são salientes, mas apenas os pontos de canto têm grandes chances de serem salientes.

Espero que ajude!

ps Como descobrir se um ponto está no canto ou não, dê uma olhada no artigo de Harris.

pps Mais sobre correspondência, procure por SIFT ou SURF.

ppps Existe uma "generalização" do método Harris, chamado Structure Tensor. Confira o trabalho seminal de Knutsson !