Por que os sensores da câmera digital não podem expor cada photosite individualmente?

14

Por que é impossível que os sensores da câmera funcionem da maneira que o olho humano pode? O que quero dizer é: por que uma certa porção da imagem precisa ser superexposta / subexposta se compensamos as áreas escuras e claras, respectivamente, ao tirar uma foto e decidir sobre as configurações de abertura e velocidade do obturador.

Entendo que a entrada de luz depende da abertura e da velocidade do obturador, mas como as DSLRs são digitais, não pode haver uma tecnologia que permita a cada célula sensor usar sua própria medição e, portanto, elas não seriam submetidas à mesma quantidade de luz, mas dependendo da medição, uma CPU da câmera desligaria certas células para não as expor demais.

Espero não estar dizendo bobagem. Com certeza me parece uma idéia plausível.

Por favor, leia o perfil
fonte
Parece que você está perguntando por que um sensor não pode ter um alcance dinâmico ilimitado? Ou talvez outro caminho seja "como funciona um sensor de câmera". Pergunta interessante independentemente.
dpollitt
Sim, você diria que a pergunta é sobre alcance dinâmico ilimitado, mas na verdade me parece muito estranho que, uma vez que cada célula sensora tem a capacidade de "gravar" ou rebater uma captura de qualquer quantidade de luz (desconsidere o recorte de branco / preto) , por que não pode fazê-lo em uma única célula, mas capturar a mesma quantidade em todo o sensor? Talvez fosse exigir um pouco mais de energia da CPU e outros enfeites, mas eu estou interessado se ele foi mesmo considerado por qualquer fabricante DSLR ...
2
Muita fiação é o meu palpite . Você precisaria de circuitos adicionais não triviais por photosite. As câmeras mais próximas da data são as que lêem metade dos pixels no meio da exposição.
Itai
Você tem um link para o artigo? Portanto, a única resposta para minha pergunta original é que, de fato, é muito complicado neste momento da história da tecnologia DSLR?
1
Esse é o tipo de pergunta que está um pouco fora da caixa. É muito sensato perguntar. Estou certo de que um dia as câmeras funcionarão de maneira muito semelhante à sua sugestão. ... Embora pessoalmente, acho que as limitações técnicas alimentam o artístico.
precisa saber é

Respostas:

19

Quem decide quais pixels recebem quanto ganho? Muito do que se passa no sistema visual humano acontece no córtex, não no olho, e depende do que achamos importante ver, com base em uma combinação de decisão intelectual e no impulso instintivo (de certa forma anulado) de autopreservação . Embora seja verdade em um sentido que vemos o que está lá, é igualmente verdade em outro sentido que vemos o que queremos (ou precisamos) ver.

Seria quaseÉ trivial criar um sensor de densidade de pixel relativamente baixo com grandes photosites que permitem uma enorme faixa dinâmica e (assumindo uma tecnologia do tipo CCD, já que a tecnologia atual do sensor CMOS não pode funcionar dessa maneira) um obturador eletrônico por pixel, além de o obturador mecânico. Então, o que isso faria com você? Uma imagem plana com muita profundidade de bits e muito baixo contraste local (se toda a profundidade de bits for convertida como é para exibição ou impressão) juntamente com um número de pixels que são quase, mas não completamente, cortados pela saturação do sensor ( de fato, eles são cortados pela ação limitadora do obturador eletrônico imediatamente antes do ponto de saturação). Digamos, por uma questão de argumento, que esse sensor e seu computador associado podem gravar os dados de recorte (a razão pela qual ele parou de gravar naquele sensor, que pode ser tão simples quanto registrar a duração real da exposição naquele site). Isso permitiria que os eletrônicos da câmera reconstruíssem quais seriam os números se o photosite pudesse permanecer no jogo até o apito final. Então agora temos uma imagem ainda mais plana com maior profundidade de bits. E onde você desenha a linha? 32 bits? 64?

Agora vem a parte difícil - transformar esses dados de imagem planos e de alto alcance dinâmico em uma fotografia atraente. A abordagem mais simples é pegar os oito bits (ou qualquer que seja a profundidade do bit de saída) que representam a imagem medida primária e jogar fora o resto. Provavelmente não seria muito mais difícil ajustar os dados a uma curva S, comprimindo as sombras e / ou os realces extremos - o que é mais ou menos o que as configurações da faixa dinâmica estendida nas câmeras mais recentes já fazem. Porém, existem apenas tantos bits de saída disponíveis por pixel, e a maioria dos valores de destaque estendidos será arredondada para branco (ou pelo menos uma mistura 254 e 255). Então você ganhou muito pouco complicando dramaticamente o sistema.

Mas ainda existe uma opção em aberto - mapeamento de área seletiva. Por que não trazer o céu, digamos, ou apenas as nuvens naquele céu, para baixo, para que ele possa reter os detalhes, preservando o contraste desejado em primeiro plano? É aqui que vive o difícil problema. O que é importante? A câmera deve decidir por você? Se a câmera decidir, temos um grande avanço em visão de máquina e inteligência artificial para dar a volta primeiro. Caso contrário, você realmente deseja tomar esse nível de decisão pós-captura para cada foto que tirar? Sim, eu sei que haverá algumas fototecnologias que realmente querem ser práticas, mas podemos aceitar que é uma condição patológica e que profissionais interessados ​​no tempo de resposta e na grande maioria dos consumidores não são gosta disso?

Portanto, você precisa de um novo sensor, componentes eletrônicos muito mais complicados ao redor do sensor, um enorme arquivo de imagem para dados brutos projetados (que exige cartões maiores e tempos de gravação mais longos / taxas de quadros mais lentas), tudo para coletar dados que serão descartados mais ocasionalmente, para que você possa capturar imagens HDR de uma só vez que exijam muita intervenção humana na publicação (ou um grande salto no MV / AI). Você provavelmente poderia vender alguns deles, mas eu esperaria que o mercado se parecesse muito mais com o mercado de médio formato do que o mercado de 35 mm / APS-C existente. Ou seja, você venderia para um grupo seleto de fotógrafos de alto nível que, na verdade, precisam dos recursos por razões profissionais ou para cumprir sua visão de belas artes, e alguns que apenas recebem uma injeção grande o suficiente do pós-processamento para pagar o imposto sobre tecnologia.


fonte
1
Esta é uma ótima análise (e estou votando como tal). Mas, no final, acho as conclusões não convincentes. Afinal, não seria difícil criar uma matriz "burra" de sensores, alguns dos quais são mascarados por, digamos, um filtro ND de seis paradas. (Use um dos G's no filtro Bayer para isso, por exemplo.) Nenhuma mudança significativa na eletrônica seria necessária; nada sobre as câmeras, lentes etc. mudaria; mas, em troca de uma pequena perda de sensibilidade, você obteria a capacidade de distinguir gradações (grosseiras) em pixels expandidos. É quase o que o OP pede.
whuber
2
Já existe uma abordagem simples e melhor no sensor EXR da Fuji. Tem sensels de tamanhos diferentes; um pequeno sensor e um grande são pareados em cada local de pixel de origem no sensor. Embora isso possa proporcionar uma faixa de captura mais ampla, ainda é limitado no que pode ser feito - você ainda pode destacar os destaques se quiser obter todas as sombras. (E a implementação atual da Fuji usa muitos pixels em um sensor muito pequeno.) Suponha uma implementação perfeita com vários tamanhos de sensor - que ainda deixa o problema de processamento - e que, e não a captura, é o problema real.
Obrigado pela referência EXR. Isso mostra que minha sugestão não é apenas plausível, mas real. Agora, o software HDR não resolveu o problema de processamento? Se você conseguiu capturar uma ampla faixa dinâmica com um sensor integrado, na verdade você já tem uma pilha HDR perfeitamente registrada. As limitações desta tecnologia serão as limitações do HDR, com certeza.
whuber
Novamente, o processamento direto fornecerá uma imagem de baixa qualidade se a fonte for HDR. A limitação não está na captura, mas no processamento - quantas imagens com halo você precisa ver antes de chegar à conclusão de que o processamento HDR não é simples? Pessoas bem-intencionadas estragam tudo e sabem o que querem que a imagem "diga". Os problemas de velocidade de armazenamento e gravação ainda estão lá também, e há outro comprometimento de uso. Uma câmera pode ser tudo para todas as pessoas, mas a que custo, tanto em preço quanto em ergonomia? A captura de 14 bits e a compactação de DR estão aqui agora; 16 bits não estará muito atrás.
1
... E os dois ainda ficam impressionados. Você precisa estender-se substancialmente mais para evitar o problema completamente e, em algum momento, a praticidade diminui, pelo menos no nível do mercado de massa. Os atiradores de estúdio não precisam disso; a maioria dos consumidores não precisa disso. Faço principalmente retratos ambientais e não consigo pensar muitas vezes em que precisei (a superexposição fez muitas das minhas imagens). A sobrecarga simplesmente não valeria a pena para a maioria das pessoas, então isso criará um produto de nicho caro.
3

Há uma coisa que poucas pessoas mencionam e é que uma cena não teria a mesma aparência se áreas diferentes fossem expostas de maneira diferente a outras áreas. Uma cena tem a aparência que tem porque há variação. Sim, pode ser uma maneira de salvar realces e aumentar as sombras, mas no final, o que você realmente deseja é uma faixa dinâmica maior que possa capturar a faixa dinâmica na cena usando uma configuração de exposição.

Nossos olhos são ótimos em fornecer uma faixa dinâmica muito maior do que a atual tecnologia de câmeras de consumidor. Posso olhar em volta rapidamente e perceber detalhes precisos em áreas sombreadas e áreas iluminadas pelo sol ao mesmo tempo.

Uma das maneiras pelas quais os fabricantes de câmeras estão contornando esse problema é usar pixels de alta e baixa sensibilidade em um sensor e combinar o resultado por pixel. As câmeras de cinema digital mais recentes da RED têm uma matriz de pixels de sensor de sensibilidade normal e de baixa sensibilidade chamados HDRx. Os pequenos pixels do sensor de baixa sensibilidade são combinados nos destaques dos pixels brilhantes para aumentar o alcance dinâmico.

Nick Bedford
fonte
Você está correto, isso resultaria em uma foto sem graça, mas obviamente teria que ter algumas limitações. Acredito que deixar a câmera decidir sobre quais áreas devem ser mais brilhantes e mais escuras seria demais. Eu não estava pensando direito ...
3

Primeiro, o alcance dinâmico do olho humano não é tão bom. Parece apenas ser melhor do que nossas câmeras atuais, porque nosso cérebro mescla constantemente "instantâneos" tirados usando diferentes configurações de exposição. Nossos olhos não conseguem registrar objetos extremamente brilhantes e extremamente escuros simultaneamente (mesmo que o cérebro possa). A verdadeira maravilha do processamento de imagens, mas apenas dispositivos medíocres de óptica / imagem.

Existem várias propostas / protótipos mostrando como a faixa dinâmica de sensores de imagem pode ser bastante aprimorada:

szulat
fonte
2

Está faltando alguma física básica aqui. O principal problema é que as cenas reais têm grandes proporções de contraste. Nossos olhos evoluíram para lidar com isso percebendo os níveis de luz logaritmicamente em vez de linearmente. Infelizmente, a atual tecnologia de sensores mede inerentemente a luz linearmente. Ou, mais precisamente, o ruído é fixo em uma escala de luz linear.

Com a tecnologia atual, o limite máximo de contraste é basicamente uma função do nível de ruído. Por uma questão de argumento, vamos usar uma escala de luz de 0-1000, o que significa que um sensor pode indicar o nível de luz de 0 a 1000. Qual é a taxa mais alta que ele pode medir? Depende do nível de ruído. O nível de ruído é basicamente o que você obtém, em vez do preto verdadeiro, que seria 0 neste exemplo. Aproximadamente, se o nível de ruído for 2, você obterá uma taxa de brilho de 1000: 2 = 500: 1. Contanto que a cena não exceda isso (quase todos, porém, na realidade 500: 1 não é muito), você pode fazer o mapeamento logarítmico desejado posteriormente.

Portanto, a estratégia atual, considerando que os sensores de corrente são inerentemente lineares, é tentar aumentar a relação sinal / ruído e fornecer bits suficientes para que o ruído de quantização fique abaixo do ruído aleatório inerente. Quanto menor o ruído do sensor, maiores as cenas de faixa dinâmica que você pode capturar sem cortar os destaques ou embaçar as sombras.

Existe uma tecnologia de sensor totalmente diferente que mede inerentemente o log do brilho. Às vezes, eles são chamados de sensores "CMOS", porque são muito parecidos com as RAMs dinâmicas do CMOS com a tampa removida (simplifico demais, mas o primeiro teste no laboratório foi realmente realizado dessa maneira). Você obtém uma voltagem proporcional ao log da luz, mas atualmente elas têm taxas de sinal / ruído muito mais baixas. A Mitsubishi foi a primeira a comercializar esses sensores, mas eles ainda não estão bons o suficiente para câmeras de ponta.

Sem dúvida, haverá avanços em várias frentes, e tenho certeza de que veremos um progresso constante nos próximos anos. No entanto, existem boas razões para que as coisas sejam como são agora, não apenas porque ninguém pode imaginar algo melhor. Se alguém tivesse uma tecnologia que pudesse medir uma ampla faixa dinâmica com precisão e a um preço pelo qual as pessoas estão dispostas a pagar, elas estariam por aí ficando ricas.

Olin Lathrop
fonte
1

Eu acredito que é muito complicado.

Basicamente, haveria duas abordagens possíveis; cada fotossensor pode acompanhar o tempo e se desligar, ou a CPU pode acompanhar os dados dos fotossensores e desativá-los.

Para a primeira abordagem, isso significaria que cada fotossensor precisaria de um sinal de relógio e um contador, para que pudesse acompanhar quanto tempo levou até se desligar. São muito mais circuitos para caber no chip e muito mais eletricidade necessária para executá-lo, o que aumenta o ruído do sinal. Provavelmente tanto que o aumento da faixa dinâmica seria inútil.

Para a segunda abordagem, a CPU precisaria ler todos os dados do sensor aproximadamente uma vez a cada 1/10000 segundo. Isso é cerca de 1000 vezes mais rápido do que a tecnologia atual pode realizar, portanto, serão décadas no futuro, se possível.

Além disso, existem outras complicações com essa solução, como se cada pixel tivesse um tempo de exposição diferente. Você teria artefatos bem estranhos se fotografasse qualquer coisa que se mexesse.

Guffa
fonte
1
Não estou tão convencido de que o "desfoque de movimento seletivo" seja um problema tão grande. Ao fotografar um objeto em movimento, os pixels que seriam expostos por mais tempo seriam aqueles que permaneceriam no escuro o tempo todo. Estes estariam dentro de áreas quase sempre uniformemente escuras, onde algum borrão não seria muito perceptível. Os pixels nas bordas entre a área escura e a luz, no caso de o assunto estar se movendo, obteriam maior exposição e seriam desligados mais rapidamente, resultando em menos desfoque.
Jan Hlavacek
0

Embora seja verdade que as DSLRs são digitais, as lentes não são. Todos os sensores de célula estarão sujeitos à mesma abertura, não importa o quão inteligente o corpo DSLR se torne, porque a abertura é definida na lente. Então, acho que variar a abertura por célula do sensor está fora, pelo menos com a tecnologia de lente atual.

No que diz respeito à velocidade do obturador, isso é controlado pela câmera, mas se imaginarmos uma câmera que possa variar a velocidade do obturador em diferentes partes da imagem para controlar a exposição acima / abaixo, você terá um desfoque de movimento irregular. As partes mais escuras da cena terão que ser expostas por mais tempo e ficarão mais desfocadas do que as partes mais brilhantes. Eu acho que uma solução que altera a velocidade do obturador não funcionará por esse motivo.

Então, a única coisa que resta é ISO. A variação do ISO significaria diferentes níveis de ruído em diferentes partes da imagem. Isso não parece muito ruim, considerando que você obteria uma faixa dinâmica muito maior em troca. Não sei muito sobre como os sensores funcionam, mas imagino que a configuração ISO seja implementada nos sensores como uma espécie de "ajuste" em direção a um subconjunto específico da escala de brilho. Parece-me que seria proibitivamente caro ter medição independente e controle ISO em cada célula do sensor, mas talvez a imagem possa ser dividida em áreas e cada área medida separadamente. Em seguida, a câmera terá que ter algum tipo de algoritmo para misturar as áreas expostas de maneira diferente, como o que "mistura" faz quando monta um panorama em que cada imagem tem uma exposição diferente. Isso parece factível para mim.

Outra opção seria ter uma câmera com vários sensores, cada um configurado com um ISO diferente. Na tecnologia de vídeo, existem 3 câmeras CCD, onde cada CCD grava uma em vermelho, verde e azul. Não vejo por que não poderia haver um conceito semelhante para DSLRs, onde vários sensores tiram a foto em diferentes níveis ISO, produzindo uma imagem HDR.

Miguel
fonte
0

Não consigo encontrar as informações no momento, mas me lembro de ter lido uma descrição de uma tecnologia semelhante. A idéia era mais ou menos a seguinte: a única coisa que precisa ser cuidada são os destaques exagerados. Se você puder evitá-las, as áreas escuras podem ser tratadas com o aumento da exposição à imagem inteira. Portanto, para evitar realces exagerados, cada sensor registra sua luz acumulada e, se isso se aproximar do máximo, o sensor será desligado. Que, por si só, não melhoraria nada, na verdade pioraria as coisas, em vez de ter poucos destaques exagerados em branco brilhante, um acabaria com destaques ainda mais ligeiramente mais escuros. Portanto, em vez de apenas desligar, a célula também desligaria as células em alguns bairros, o que preservaria alguns detalhes em áreas claras.

Como escrevi, não consigo encontrar o texto agora, mas, de alguma forma, ele está associado às câmeras digitais HP.

Jan Hlavacek
fonte
Se você o encontrar, faça o link para o artigo. Uma ideia interessante, de fato.