Por que as câmeras não gravam dados de luz em todo o obturador?

Desculpe se o título da pergunta é confuso, não sei a melhor maneira de expressar isso, portanto, fique à vontade para alterá-lo se puder pensar em algo melhor. Aprendi que persianas eletrônicas podem capturar a imagem de uma só vez, em vez de usar uma persiana mecânica que usa a cortina. Isso me deu uma ideia. Digamos que uma determinada foto seja exposta adequadamente em 1/200s, mas o alcance dinâmico da imagem é muito amplo para a câmera capturar.

Por que uma câmera com obturador eletrônico não consegue capturar e gravar continuamente dados de luz de uma imagem durante toda a duração do obturador, em vez de apenas coletar dados de luz e finalmente armazená-los como uma imagem? Seria como ver uma sala começar da escuridão e aumentar gradualmente o brilho. A câmera seria capaz de capturar toda a faixa dinâmica de uma imagem e compilar os dados em uma imagem com toda a faixa dinâmica em apenas uma foto, em vez de precisar de várias exposições para um HDR. Isso também permite ajuste de exposição no processamento do cargo, sem qualquer perda de informação já que a câmera tenha armazenado os dados a luz de toda uma gama de exposições. Por que essa ideia não está sendo implementada atualmente?

Foi feito em raios-X.

O TimePix é um detector de 256x256. Possui três modos de operação :

• a usual "energia total neste pixel desde que começamos a integrar";
• Tempo acima do limite (TOT): a altura do pulso detectada é registrada no contador de pixels no modo TOT; e
• Hora de chegada (TOA): o modo TOA mede o tempo entre o disparo e a chegada da radiação em cada pixel.

Esta tecnologia foi adaptada à imagem óptica . O modo TOT é melhor descrito como agindo como um ADC Wilkinson - a leitura corresponde ao tempo total em que a carga acumulada está no limite ou acima dele. Subtrair isso do tempo do obturador indica quanto tempo esse pixel levou para saturar. Assim, para cada pixel, você pode desenhar a linha de 0 a saturação ao longo do tempo desde que o obturador foi aberto. Assim, você pode escolher o tempo do obturador virtual desejado (contanto que todos os pixels estejam saturados) e usar a linha de cada pixel para estimar sua luz acumulada até o tempo do obturador virtual.

Uma implementação mais direta da sua ideia foi feita no CMOS. Cada pixel registra e relata seu tempo para atingir uma carga limite. (Em vez de ADC, os pixels que não se saturam com o tempo, o limite é varrido, portanto, todo pixel eventualmente excede um limite suficientemente baixo.)

Lembro que o Pixim Digital Pixel System ( exemplo ) também fez isso usando um ADC por pixel e não destrutivamente lendo a carga acumulada repetidamente (para obter a inclinação da acumulação). Mas não consigo encontrar evidências corroboradoras atuais.

Você está perdendo alguns problemas óbvios com essa idéia.

Você deseja "continuamente" capturar os dados de luz, mas isso já está sendo feito.

Aparentemente, você quer ter uma série de imagens disponíveis após a exposição, cada uma exposta desde o início até os tempos que avançam com toda a exposição. As imagens posteriores teriam mais detalhes nas áreas de sombra, mas podem ter áreas brilhantes cortadas. O firmware da câmera poderia montar uma única imagem com maior alcance dinâmico do que qualquer uma das imagens individuais.

Os dois problemas gritantes com isso são:

• como ler todos os milhões de pixels tão rápido e
• onde colocar os resultados.

A tecnologia não está disponível hoje para fazer isso.

Você sugere "Ou sempre que um fóton atinge um pixel no sensor, fornece um carimbo de data / hora" - isso seria uma enorme quantidade de dados. Uma pesquisa rápida sugere que cada pixel - ou sensor - em uma câmera digital satura algo entre 20.000 e 100.000 fótons. Digamos que estamos felizes com uma câmera de 12 megapixels e que estamos bem com o lado inferior da sensibilidade aqui. Isso ainda é um quarto de trilhão de pontos de dados. Se estamos falando de uma câmera de 50 megapixels com muita faixa dinâmica, talvez cinco trilhões . Mesmo se fizermos nossos registros de data e hora terem apenas dois bytes cada (um byte fornece apenas 256 valores, portanto é improvável que seja suficiente para fazer tudo isso valer a pena), isso significa ... muitos dados para uma imagem. Quero dizer, literalmente, terabytes.

Isso claramente não é viável no momento em termos de pipeline de dados com a tecnologia atual, e muito menos colocá-lo em algum lugar .

O que você está pedindo, amostragem contínua de luz, pode ser teoricamente possível, mas praticamente muito caro. Pode ser possível aproximá-lo com uma taxa de amostragem muito alta. Isso pode ser feito com uma câmera de vídeo de alta velocidade (câmera lenta) com taxas de quadros muito altas. Em seguida, a saída pode ser pós-processada para criar uma imagem.

Uma pesquisa rápida mostra o suf como Phantom

Essas coisas funcionam com sensores rápidos e com a capacidade de mover e armazenar grandes quantidades de dados. A tentativa de amostragem contínua, ou uma taxa de amostragem suficientemente rápida para parecer contínua, aumenta esse problema e o custo.

O obturador eletrônico já é um avanço. Agora somos capazes de capturar todos os pixels ao mesmo tempo e depois pedir que parem de coletar (ou seja, provar cada pixel) e medir as informações de cada cor de cada pixel em série, capturando dados sobre uma imagem que foi tirada simultaneamente.

Isso não costumava ser o caso.

Ainda precisamos fazer alguns hacks para o cenário HDR, no entanto, no entanto, não é tão ruim como costumava ser, novamente devido aos avanços na tecnologia de sensores. Agora temos maior sensibilidade do sensor e faixa dinâmica; portanto, uma foto que costumava exigir uma foto com dois suportes e pós-processamento agora pode ser capturada na câmera porque o sensor pode medir os altos e baixos de determinadas imagens. De fato, os sensores se tornaram tão bons que você raramente se depara com uma situação que exige mais de três fotos entre colchetes para obter toda a faixa dinâmica. Sensores mais antigos podem ter exigido 5 ou mais fotos entre colchetes.

Sua ideia, como eu a entendo, exige uma medição contínua por pixel.

Embora seja uma ótima idéia, a implementação continua sendo um problema. As câmeras são projetadas para transmitir dados do sensor em série. Não há uma linha para cada pixel no processador; em vez disso, o sensor de imagem possui uma lógica que permite ao processador ler o valor de um pixel, ou muitos pixels, de uma só vez, mas não todos de uma vez. Ele precisa percorrer todos os pixels, e isso leva tempo.

Não podemos superar isso porque não conseguiremos ter 50 milhões de fios entre o sensor e o processador. Poderíamos integrar mais do processamento no sensor, mas o sensor é especializado para fazer uma coisa e fazê-lo bem. A adição de circuitos digitais resultaria em mais ruído e, provavelmente, em pixels menores, mesmo se fossem usados ​​ICs 3D. Além disso, os processos usados ​​para criar um bom silício sensível à luz são diferentes daqueles usados ​​para criar um bom silício digital de baixo consumo e baixo consumo de energia.

Todas essas coisas são impedimentos, no entanto, para algumas aplicações especializadas, elas já estão sendo usadas. Geralmente na área científica e industrial.

Mas isso não significa que estamos sendo deixados de fora no frio. À medida que os sensores melhoram, particularmente na faixa dinâmica, você verá que, eventualmente, você terá "HDR" na câmera sem suportes - os sensores serão sensíveis o suficiente para obter a faixa completa, e as lentes e o corpo da câmera serão bons o suficiente para evitar sangramentos, reflexões e outros problemas que impedem o sensor de atingir sua capacidade total.

Portanto, embora a idéia não seja ruim, é complexa, cara e ainda temos espaço para crescer em outras áreas improváveis, para que seu método possa nem se tornar necessário.

A verdadeira resposta é preço. Se você estiver disposto a pagar 10 a 100 vezes mais por sua câmera, poderá obter alguns sensores realmente sofisticados.

O resultado desejado que você descreve é ​​um intervalo dinâmico mais alto para cada pixel. Há algumas maneiras de fazer isto. A maneira óbvia é obter um sensor ADC e CMOS melhor, mas isso custa dinheiro e não está na veia do que você está pensando. A próxima abordagem seria absorver a carga em um processo contínuo , em analógico. Isso permitiria obter uma função contínua descrevendo quantos fótons atingem o pixel. No entanto, esse tipo de hardware analógico é tremendamente difícil. Na sua câmera, todos os dados de pixel são filtrados por um número bastante pequeno de ADCs. Parte da beleza de nossos sensores é como eles podem fazer isso, produzindo hardware mais barato por fatores de centenas. Para fazer isso continuamente, seria necessário que cada pixel tivesse uma quantidade extraordinária de hardware analógico ajustado.

O que nos leva à abordagem de amostragem digital. Você mencionou a idéia de capturar dados a cada 1/1000 de segundo, o que sugere para mim que você não estava pensando em um processo contínuo , tanto quanto em um processo de amostragem em que você obtém muitos pontos de dados por pequenos intervalos de tempo e os une juntos. Como mencionado em outras respostas, o HDR + em alguns telefones faz exatamente isso. Ele tira várias fotos em rápida sucessão e as mistura para obter o efeito HDR. Para fazer isso, eles obviamente têm uma largura de banda ADC muito maior do que você precisaria para uma única imagem, mas eles não precisariam do tempo necessário para tratar cada pixel continuamente.

Pelo que parece, você gostaria que cada pixel fizesse essa amostragem por conta própria. Para fazer isso, precisamos primeiro fazer uma incursão no projeto de circuitos integrados em 3D. Você não deseja que nenhum hardware de cada pixel ocupe espaço na superfície do sensor ou terá problemas em ter poucos pixels ou perder muita luz quando cair em partes não-sensor do IC. A única maneira de conseguir isso é construir um chip 3D. Esta é realmente uma tecnologia futura. Estamos começando a explorar como fazer isso, mas não é fácil. Se você tiver centenas de milhares de dólares de sobra para sua câmera, podemos fazer esse tipo de coisa acontecer.

No final, parece que você deseja que a saída de cada pixel seja um "número de ponto flutuante" em vez de um "número inteiro". Ou seja, cada pixel teria um valor para quantos fótons atingidos, e um expoente que basicamente diz quanto multiplicar esse valor para obter o número real de fótons. À medida que o pixel é exposto, ele é amostrado a uma taxa muito alta (talvez 5000Hz) e, se a contagem de fótons for muito grande, ele seleciona um expoente maior.

Agora, a verdadeira questão é quanto benefício você obtém disso? Lembre-se, a abordagem HDR + é a tecnologia atual, para celulares na casa dos centenas de dólares. Você está falando sobre o uso de tecnologia de ponta com tolerâncias muito mais exigentes do que qualquer câmera disponível no mercado. Isso terá um custo. O que você comprou? O que esses dispositivos de pixel único durante o obturador realmente compraram para você que a tecnologia barata de CMOS que o Google está oferecendo não? A resposta não é muita. Pode haver alguns casos minúsculos de canto em que essa é uma abordagem preferida, mas com um preço substancialmente mais alto do que a tecnologia existente, é um incipiente comercial.

Algo muito semelhante está sendo implementado. Ele ainda opera por quadros distintos, porque há vantagens significativas de uma abordagem digital em vez de analógica. Mas as abordagens existem com uma resolução de tempo nos segundos pico.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Por que uma câmera com obturador eletrônico não consegue capturar e gravar continuamente dados de luz de uma imagem durante toda a duração do obturador, em vez de apenas coletar dados de luz e finalmente armazená-los como uma imagem?

O que eu acho que você realmente está propondo aqui é descrever uma imagem que não seja em termos de "quanta luz foi coletada durante toda a exposição?" mas sim "quão brilhante era a cena em cada ponto?" Esse é um ótimo pensamento, e posso pensar em várias maneiras de fazer isso, mas o que todos eles têm em comum é que eles adicionam complexidade ao sensor.

Os fabricantes de câmeras trabalham há muito tempo para fornecer mais pixels, e eu acho que manter a estrutura de cada pixel individual simples ajuda nesse esforço. Agora que as DSLRs geralmente têm sensores com entre 20 e 50 milhões de pixels, talvez possamos vê-los trabalhando na criação de pixels melhores . Já estamos vendo isso de algumas maneiras - o foco automático com dois pixels é um exemplo. E certamente existem empresas trabalhando na construção de sensores que fornecem faixa mais dinâmica , menos ruído etc.

Em suma, acho que é provável que vejamos algo parecido com o que você propôs no futuro, mesmo que não funcione dessa maneira, e a razão pela qual não estamos lá já é provavelmente apenas isso. outros objetivos, como o aumento da densidade de pixels, eram prioridades mais altas no passado.

Isso pode ser feito de uma maneira um pouco diferente. Em vez de uma foto, você tira vários quadros com diferentes tempos de exposição. Em seguida, você empilha as imagens para obter algum tipo de média, dependendo do algoritmo usado para empilhamento.

Por exemplo, com o recente eclipse solar total, a quantidade de coroa visível a olho nu era muito maior do que aquela que qualquer tempo de exposição da câmera mostraria. Isso ocorre porque o olho tem uma faixa dinâmica logarítmica, enquanto o olho tem uma faixa dinâmica linear. Assim, com o empilhamento de vários tempos de exposição, você pode aproximar muito melhor em uma imagem o que os observadores viram a olho.

Os modos Olympus Live Bulb e Live Time vão na direção que você está descrevendo.

No manual do OM-D E-M5 :

Para visualizar o progresso da exposição durante o disparo, escolha um intervalo de exibição para [Live BULB] (P. 89) ou [Live TIME] (P. 89).

Aqui está um vídeo . Observe que você só recebe uma exposição no final, mesmo vendo várias durante o processo. Os pixels do sensor se preocupam apenas com a quantidade total de fótons que receberam durante a exposição, eles não sabem quando ou em que ordem os fótons pousaram no sensor.

Você tem a ideia certa. A Sony está essencialmente fazendo algo nesse sentido no RX100M5 e em outras câmeras que ostentam um recurso que eles chamam de D-Range Optimizer - analisando a cena e ajustando e compensando áreas problemáticas.

A função Otimizador de alcance D analisa instantaneamente os dados da imagem capturada e corrige automaticamente a exposição e a reprodução de tons ideais. Freqüentemente, ao capturar cenas em contraluz, o rosto do sujeito ou outras áreas sombreadas aparecem mais escuras na fotografia do que no olho humano. A função Otimizador de alcance D discrimina entre diferentes condições das cenas fotografadas, corrigindo automaticamente a curva gama, o nível de exposição e outros parâmetros para remover partes mais escuras do que pareceriam ao olho humano.

A função de otimizador do alcance D também contém o modo Padrão, que ajusta a imagem inteira de maneira uniforme (eficaz para corrigir aspectos como a exposição), e o modo Avançado, que corrige automaticamente as áreas da composição. Ao usar o modo Avançado, o fotógrafo pode produzir uma imagem nítida em que o assunto e o plano de fundo são retratados com brilho apropriado, mesmo quando há uma grande diferença no brilho dos dois.

fonte: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F