Como obter nuvens de pontos densas de câmeras estéreo?

Estou tentando usar uma câmera estéreo para reconstrução de cenas, mas geralmente só consigo obter nuvens de pontos esparsos (ou seja, mais da metade da imagem não possui informações de profundidade adequadas).

Percebo que os algoritmos de processamento estéreo dependem da presença de textura nas imagens e têm alguns parâmetros que podem ser ajustados para obter melhores resultados, como o intervalo de disparidade ou o tamanho da janela de correlação. Por mais que eu ajuste esses parâmetros, porém, nunca consigo obter resultados remotamente próximos do que pode ser obtido usando um sensor ativo como o Kinect.

A razão pela qual eu quero isso é porque muitas vezes as nuvens de pontos correspondentes às regiões adjacentes não têm sobreposição suficiente para que eu possa obter uma correspondência, portanto a reconstrução é gravemente prejudicada.

Minha pergunta aos especialistas da Computer Vision é o seguinte: o que posso fazer para obter nuvens de pontos mais densas em geral (sem modificar arbitrariamente o ambiente do meu escritório)?

Você pode tentar pular a detecção de ponto saliente e apenas amostrar densamente sobre a imagem (como grade ou mais) e calcular um descritor de recurso em cada ponto de amostra. Provavelmente, você pode até calcular um descritor para cada pixel.

Você pode perder a invariância da escala, mas acho que isso não prejudicará muito a visão estéreo, pois os objetos estarão aproximadamente na mesma escala nas duas imagens.

Outra abordagem pode ser combinar vários algoritmos de detecção de pontos salientes: cantos, bordas, blobs e assim por diante. Então você deve usar o mesmo algoritmo do descritor de recursos para todos os pontos detectados; no entanto, essa última parte pode ser um pouco complicada de implementar.

Portanto, os algoritmos de processamento de imagem estéreo que usei no passado foram implementados pixel por pixel. Acabamos de usar o modelo de câmera pinhole e fizemos algumas medições à moda antiga com fita métrica até que nossas estimativas de profundidade correspondessem à realidade.

As equações para um par de câmeras paralelas são:

• $d =$
• $f =$
• Quadros de coordenadas:
  • $x, y, z =$
  • $u_R, v_R$
  • $u_L, v_L$
  • Nota: as coordenadas da câmera têm suas origens no quadro de coordenadas entre as câmeras (ou seja, os eixos u estão voltados para direções opostas)

$u_L = \frac{f(x-d)}{z}$$u_R = \frac{f(x+d)}{z}$

$zu_R = f(x+d)$$zu_L = f(x-d)$

$z(u_R - u_L) = 2df$

$z = \frac{2df}{u_R - u_L}$

$y = \frac{v_L*z + df}{f}$

$x = \frac{u_L*z + df}{f}$

Usando essas equações, você pode calcular uma nuvem estéreo densa. Um para cada pixel em suas câmeras.

Quando você diz "mais da metade da imagem não possui nenhuma informação adequada de profundidade", qual metade?

Um problema que encontramos é que, se a distância do objeto é da mesma ordem de magnitude que a sua linha de base (geralmente associada a câmeras de grande angular), os algoritmos estéreo densos "padrão" não funcionam tão bem. Estamos usando a biblioteca libelas, e seus desenvolvedores nos disseram que isso é chamado de "estéreo de linha de base grande" e é outro problema.

Veja os líderes do KITTI Stereo Benchmark . Esse benchmark penaliza os algoritmos por não produzirem disparidades em um determinado momento; portanto, os melhores desempenhos produzem resultados densos (mesmo que não tenham muitos motivos para sua estimativa em muitos pontos). Alguns métodos têm código publicamente disponível vinculado, que você pode experimentar.

Observe que eles não são penalizados por levar muito tempo; muitos métodos levarão a ordem de minutos por imagem para serem executados e podem não ser adequados para o seu aplicativo. No entanto, foram introduzidos muitos métodos baseados na CNN que se saem muito bem, enquanto ainda são executados em menos de um segundo (em uma GPU). Pelo menos um deles (CRL) tem código público.

Se você ainda não obtiver estimativas decentes de profundidade com essas imagens, poderá estar vendo os limites do que é viável a partir de uma abordagem visível. Fundamentalmente, precisa haver textura distinta na área para poder corresponder bem aos pontos, ou você precisa de uma base para fazer algumas suposições fortes (por exemplo, suavidade) em regiões sem textura.