Como reconstruir uma estrutura 3D a partir de um conjunto de imagens?

Eu tenho um conjunto de contornos (conjunto de segmentos de linha) agrupados da seguinte maneira:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

Onde

• denotam a sequência de imagens de um objecto concreto. $S_i$
• denotar uma imagem, com j t h ponto de vista ( j = 0 meio vista frontal). $I^j$$j^{th}$$j=0$

Aqui está um exemplo de (vista traseira): $I^\pi$

Como posso reconstruir a estrutura 3d do objeto com fornecido ?$S_i$

Alguém pode me indicar alguns papéis ou até mesmo me dar algumas palavras-chave? Sei que existem muitos artigos que funcionam com nuvens de pontos e assim por diante, mas esses não funcionam como estou operando com linhas.

Na verdade, é um assunto bastante difícil. A reconstrução clássica em 3D de múltiplas vistas lida com a correspondência de pontos em primeiro lugar, ou seja, encontre o mesmo ponto em todas as imagens. Dado os parâmetros da câmera (visualização) para cada imagem, o ponto 3d original pode ser reconstruído. (Usando um laser ou um projetor, a cena pode ser iluminada para que a correspondência possa ser feita com relativa facilidade.)

A Bíblia do campo é Geometria de Múltiplas Visões em Visão Computacional por Hartley e Zisserman

No livro, há uma seção sobre o tensor trifocal, que é uma restrição multilinear entre 3 visualizações. Ele contém não apenas restrições de ponto, mas também de correspondência de linha. Pode ser usado para reconstrução de edifícios muito bem.

Portanto, seus contornos devem corresponder em primeiro lugar e talvez possam ser reconstruídos sabendo os parâmetros da câmera (a calibração da câmera também é abordada no livro). Então você terá contornos em 3d, mas nada mais. Para superfícies reais, é necessário fazer uma correspondência densa de pontos. Embora o tensor que mencionei pareça bom, ele é usado para linhas retas e tenho certeza de que um carro moderno tem linhas curvas por toda parte.

Não sei como você conseguiu esses contornos, mas, vendo a imagem que postou, sou bastante cético quanto à robustez desse algoritmo, portanto a reconstrução será ruim.

Outro método que me veio à cabeça é o casco visual ou a escultura no espaço . A matemática do contorno também deve ser feita. Executando o método em cada contorno, você pode ter o modelo.

Embora mencionado pelo livro de Fodor Hartley e Zisserman, definitivamente vale a pena ler, é mais para compreensão geral do que para algoritmos práticos. É bastante desatualizado e esses métodos não são eficientes. Sobre o seu problema - a formulação do problema em si é muito incomum. Como foi mencionado por Fodor, começar com pontos de recurso correspondentes em vez de contornos é muito mais fácil. Em caso de pontos absolutamente melhor visão geral de métodos modernos disponíveis é o papel por Triggs "Bundle Ajuste - A Síntese Moderna" Mas antes de usar o ajuste pacote você teria que ponto correspondente jogo nas imagens usando algo como SIFT ou casamento de modelos. Google para reconstrução 3Dpara exemplos de alguns métodos completos. Você também pode usar pacotes de código aberto para isso, existem vários disponíveis.

Se você insistir em usar contornos, o problema é muito mais difícil, embora ainda seja (quase) tratável. Primeiro, você terá que identificar e combinar os contornos correspondentes em todas as imagens, depois escrever a função de custo - da soma dos erros de reprojeção para cada grupo de contornos correspondentes, em função da posição e orientação da câmera de cada imagem. Depois disso, encontre o conjunto de posição da câmera que minimiza essa função de custo. Cada etapa desse processo é extremamente difícil e não há uma boa visão geral como o Triggs. Você pode pesquisar no Google alguns documentos relevantes, como uma combinação dos termos "contornos" "correspondentes à correspondência" "ajuste de pacote" "erro de reprojeção" "reconstrução 3D".

Confira Reconstrução do modelo a partir de imagens, que é um pouco diferente do que você está fazendo, mas falo sobre como passar de imagens para um modelo 3D. Verifique também o MeshLab , ele possui alguns algoritmos de reconstrução nos quais você pode alimentar seus dados.