Podemos melhorar as câmeras do telefone usando sensores separados para cada RGB?

Então, eu estava lendo tudo sobre o sistema de várias câmeras no novo Huawei P20 Pro, o que realmente me fez pensar em como podemos usar várias câmeras para melhorar a qualidade da imagem, especialmente de uma forma tão compacta como um telefone.

Eu olhei para o filtro Bayer e notei que quando cada photosite coleta a intensidade de um dos componentes RGB, também descartamos as intensidades dos outros dois componentes RGB. E, portanto, temos que aproximar as intensidades descartadas usando demosaicing.

Em vez de recorrer ao demosaicing, e se criarmos um sistema de câmeras com três câmeras, cada uma responsável por apenas uma das RGB? Não é necessário mais demosaicing. Não melhoraria drasticamente a qualidade da imagem final, já que não há mais aproximações de cores?

Seria muito caro, dado que o P20 Pro já parece estar bem com 3 câmeras?

Sua ideia é muito interessante. Mas existem alguns problemas muito sérios.

1. Paralaxe. Como os sensores serão trocados entre si, eles "verão" imagens diferentes. E o processo de criação de uma foto dessas três será um grande desafio e precisará de muita capacidade de computação
2. Espaço. Nos celulares, você não tem muito espaço, portanto, a adição de mais um sensor, ótica, cabos pode ser inviável
3. Preço. A adição de mais censores e ópticas aumentará o preço. E especialmente este mercado é muito sensível nessa direção. No final, o telefone é principalmente para falar (IMHO)
4. Necessidades do mercado. Quantas pessoas vão querer fotos ainda melhores do telefone?
5. Limpeza. Agora você (talvez) limpa uma lente e depois limpa 3. Certo, elas são pequenas, mas você mantém seu telefone (geralmente) no bolso

Claro que esta lista pode ser estendida, mas espero que isso seja suficiente

EDIT: Relacionado ao ponto 1, se os sensores estiverem em um plano, isso adicionalmente "distorcerá" as imagens capturadas por eles. E isso significa que, em close-up, você deve ter três sistemas de foco diferentes.

A qualidade moderna da imagem do smartphone é limitada pelo tamanho minúsculo do sensor, pela qualidade e difração da lente, e não pelo processo de remoção de manchas.

Portanto, a ideia não parece ser útil.

Observe que o P20 mencionado acima apresenta uma câmera monocromática, apresentando o mesmo tipo de problemas com o registro de imagens que as hipotéticas câmeras R, G e B separadas (paralaxe, imagens inconsistentes entre os canais). E o objetivo era aumentar a sensibilidade à luz baixa em vez da resolução de cores. Porque a resolução da cor não é um problema e ninguém se importa com isso.

Muitas câmeras de vídeo já fazem exatamente o que você propõe. Mas eles usam um sistema de divisão de feixe entre a lente e os sensores, que essencialmente corta a quantidade de luz que chega a cada sensor aproximadamente na mesma proporção que o uso de um filtro mascarado da Bayer.

O maior problema ao fazer isso com três lentes diferentes, mantendo um alto grau de precisão, é a complexidade e o custo de criar conjuntos de lentes perfeitamente compatíveis. Isso não é insolúvel, mas a solução provavelmente é mais cara e computacionalmente complexa do que usar uma máscara Bayer e desmosaicing.

Em vez de recorrer ao demosaicing, e se criarmos um sistema de câmeras com três câmeras, cada uma responsável por apenas uma das RGB? Não é necessário mais demosaicing. Não melhoraria drasticamente a qualidade da imagem final, já que não há mais aproximações de cores?

Cada uma dessas três câmeras precisaria de um filtro de cor única à frente para usar as diferenças comparativas de cada uma para produzir uma imagem "colorida". Isso significa que a mesma proporção de luz que é absorvida / refletida pelos pequenos filtros em um sensor mascarado da Bayer ainda seria absorvida / refletida pelos grandes filtros de cor única na frente de cada um dos três sensores independentes. Sem um filtro colorido diferente na frente de cada um, todos seriam câmeras monocromáticas idênticas produzindo os mesmos dados.

Eis a questão da "cor": não existe natureza na cor. A luz possui apenas comprimentos de onda. As fontes de radiação eletromagnética em cada extremidade do espectro visível também têm comprimentos de onda. A única diferença entre a luz visível e outras formas de radiação eletromagnética, como as ondas de rádio, é que nossos olhos reagem quimicamente a certos comprimentos de onda da radiação eletromagnética e não reagem a outros comprimentos de onda . Além disso, não há nada substancialmente diferente entre "luz" e "ondas de rádio" ou "raios-X". Nada.

Os cones em nossas retinas são compostos de três tamanhos diferentes, cada um dos quais responde melhor a um comprimento de onda diferente da radiação eletromagnética. No caso dos nossos cones "vermelho" e "verde", há muito pouca diferença na resposta à maioria dos comprimentos de onda da luz. Mas, comparando a diferença e que tem uma resposta mais alta, os cones vermelho ou verde, nosso cérebro pode interpolar até que ponto e em que direção, em direção ao vermelho ou ao azul, a fonte de luz é mais forte.

A cor é uma construção do sistema do cérebro ocular que compara a resposta relativa dos três cones de tamanhos diferentes em nossas retinas e cria uma percepção de "cor" com base nas diferentes quantidades que cada conjunto de cones responde à mesma luz. Existem muitas cores que os humanos percebem que não podem ser criadas por um único comprimento de onda da luz. "Magenta", por exemplo, é o que nossos cérebros criam quando somos expostos simultaneamente à luz vermelha em uma extremidade do espectro visível e luz azul na outra extremidade do espectro visível.

Essa tecnologia existe na forma de uma câmera de 3ccd / 3 chips . Existem alguns problemas com a instalação do prisma no espaço disponível em um telefone. Eu acho que você acabaria com algo pelo menos tão grosso quanto um iPhone gen1, mas algo mais próximo da espessura de um baralho de cartas pode ser necessário. Suponho que o mercado possa ser forte o suficiente para suportar esse dispositivo. Havia um interesse suficiente para que as encomendas se esgotassem para o hidrogênio de US $ 1200 . Eu sei que quase comprei um.