As câmeras + exibem telas com comportamento óptico semelhante a janela / espelho?

As telas conectadas às câmeras são significativamente diferentes das janelas ou espelhos. Olhando através de uma janela ou espelho, podemos nos concentrar no infinito, e podemos mudar nosso ponto de vista para ver um pouco diferente. Com uma tela mostrando imagens da câmera ao vivo, vemos o campo de visão a partir de um único ponto (o local da câmera) e nosso foco está na tela.

Seria possível desenvolver uma tela + câmera com comportamento muito mais próximo de uma janela ou espelho? Acho que a tela e a câmera precisariam ter a mesma área de superfície. Ambos seriam sensíveis à direção e, quando o pixel da câmera na câmera recebe um fóton com frequência ν dos ângulos ( C ϕ , C θ ) , a tela envia um fóton correspondente na frequência ν da posição ( S i , S j ) na direção ( S ϕ$(C_i, C_j)$$\nu$$(C_\phi, C_\theta)$$\nu$$(S_i, S_j)$ , onde ( S ϕ , S θ ) são calculados a partir de ( C ϕ , C θ ) imitando o comportamento de janela ou espelho.$(S_\phi, S_\theta)$$(S_\phi, S_\theta)$$(C_\phi, C_\theta)$

Esse dispositivo é teoricamente possível? Se sim, esse dispositivo seria tecnicamente viável hoje? Se sim, houve algum trabalho sério nesses dispositivos? Se for teoricamente possível, mas não viável hoje, o que precisaria ser desenvolvido antes que esses dispositivos estivessem no horizonte?

Deve ter uma ampla gama de aplicações em telepresença , realidade aumentada , engenharia automotiva e, certamente, muitos outros campos.

A tecnologia para fazer o que você quer existe há décadas e é chamada de holografia . O problema com sensores e visores fotográficos comuns é que eles apenas registram / reproduzem informações de amplitude sobre a luz. Para saber, por exemplo, de que ângulo o raio veio, você também precisa registrar as informações de fase da luz. É exatamente isso que a holografia faz.

Na imagem mostrada na parte inferior, você pode ver que duas imagens de um único holograma tiradas de ângulos diferentes mostram o mouse como se fosse visto de ângulos diferentes. Há partes da cena visíveis de um ângulo que nem são visíveis do outro ângulo, como a parte de trás do mouse e o ramo atrás do mouse.

As tecnologias necessárias para criar hologramas em tempo real (semelhantes a uma câmera com uma tela) ainda estão em fase de P&D e são muito rudimentares no momento. Os moduladores espaciais de luz fornecem uma maneira de produzir hologramas 2D em tempo real. Esse grupo conseguiu gravar o holograma usando uma câmera 4K padrão com uma matriz de lentes e usou moduladores espaciais de luz para reproduzir o holograma em tempo real (embora não particularmente bem).

Essa tela pode ser possível com tecnologia semelhante à dos metamateriais, que são conhecidos pela aplicação potencial como uma 'capa de invisibilidade'. Algumas empresas também afirmam ter conseguido isso nas forças armadas, mas sua eficácia é questionável, porque todo o PR em torno dela usa imagens estáticas e maquetes.

O truque seria captar a luz de todas as direções e reproduzir novamente a mesma dispersão do outro lado (ou da tela). Existem maneiras de tornar as coisas 'invisíveis' para alguns comprimentos de onda usando refração para dobrar ondas EM em torno de um objeto central, mas é improvável que isso funcione para uma 'tela' arbitrariamente posicionada, a menos que você possa capturar a entrada com um pacote de fibra ótica e de alguma forma, reproduzi-lo exatamente na outra extremidade (sem 'distorcer' a dispersão de saída).

Tudo isso parece bastante nebuloso e subdesenvolvido para a aplicação prática que você está procurando aqui. Provavelmente, o melhor que você poderia conseguir seria uma tela lenticular 3D com rastreamento de cabeça / olho, para que pudesse manipular a imagem de acordo com a posição relativa da tela / cabeça.

Isso funcionaria apenas para uma pessoa de cada vez com a tecnologia atual, tanto quanto eu sei. A entrada precisaria ser processada em uma cena 3D para que pudesse ser reexibida de outros ângulos. Essa tecnologia é razoavelmente madura e existem muitas tecnologias que vão da captura pura de luz visível baseada em câmera com processamento de software a câmeras de digitalização 3D ativas que combinam várias entradas ativas e passivas. Alternativamente, pode ser usada uma matriz de câmeras 2D bem compactada e duas selecionadas adequadas para corresponder à orientação relativa da tela principal. Seu campo de visão ainda precisaria ser manipulado de acordo com a distância da tela, provavelmente seria mais fácil digitalmente cortando e dimensionando a imagem de uma lente grande angular.

A transmissão de cada fóton individual é inviável, dada a quantidade de computação necessária, mas a tecnologia para capturar algumas informações sobre a direção da luz de entrada já existe e é usada na câmera "campo de luz" Lytro .

A exibição do campo de luz correspondente não existe, até onde eu saiba. O sistema Lytro usa uma tela convencional com pós-processamento que permite ajustar o ponto focal, a profundidade de campo etc. depois que a foto foi tirada.

Câmeras 3D

Câmeras 3D que consistem em duas câmeras separadas para permitir a percepção de profundidade já existem há muito tempo. O único andar é que exibi-lo a um par de olhos humanos de uma maneira que o cérebro possa entender pode ser difícil. Hoje, a maioria dos esforços concentra-se apenas em mostrar uma imagem para cada olho e permite que o cérebro se concentre em sincronizar as imagens com uma narrativa coerente.

O problema é que você precisa de uma tela muito perto dos olhos ou um par de óculos polarizados.