O que causa ruído de bandas nos sensores CMOS?

Estou procurando informações (e referências) sobre três tópicos relacionados:

• O que causa o ruído de faixas nos sensores CMOS? Qual é a causa física / tecnológica? A causa é a mesma nos sensores CCD e CMOS?

• Como os vários fatores relevantes (configuração ISO, tempo de exposição e nível de exposição) influenciam a força e o padrão da banda?

• O padrão da banda é estável no curto prazo (fotos seqüenciais) e no longo prazo? Existe uma chance de o padrão de banda de um sensor real poder ser medido e usado para reduzir o efeito nas fotos reais?

Para esclarecer o que quero dizer com bandas, aqui está um exemplo de imagem do site do TopazLabs. Observe as faixas horizontais na imagem barulhenta.

Um experimento ingênuo não mostrou correlação positiva entre as faixas em várias imagens de uma superfície branca lisa.

O ruído de faixas horizontal e vertical (HVBN) é causado pela leitura do sensor, amplificação a jusante e ADC. Pode haver várias fontes de HVBN, algumas delas causam um padrão relativamente fixo, outras podem causar um padrão aleatório. A interferência de sinal externo geralmente é uma fonte de faixas mais suaves e aleatórias. Exatamente o que causa bandas em que os sensores realmente dependem, e ninguém, exceto o fabricante, tem informações suficientes para apontar as causas exatas de qualquer câmera.

Principalmente, o HVBN é causado pela maneira como as linhas de pixels são ativadas, e cada coluna de uma linha é lida, e a natureza dos transistores envolvidos nesse processo de leitura. Primeiro, os transistores fabricados via fotolitografia são imperfeitos. Imperfeições no silício de base, imperfeições no gabarito e gravação, etc., podem afetar a resposta dos transistores. Como tal, cada pixel em um sensor, bem como baldes para processamento de imagens no molde, como CDS (Correlated Double Sampling), não se comportará necessariamente como todo o resto, produzindo diferenças. Nos sensores CMOS modernos (excluindo os sensores do tipo Sony Exmor), o circuito CDS na matriz é frequentemente o culpado pela introdução de ruído de faixas em configurações ISO mais baixas (ISO 100 a talvez 800) nas sombras profundas.

Alguns projetos de leitura também envolvem um amplificador a jusante adicional usado em determinadas circunstâncias, além dos amplificadores por pixel. O ruído de bandas introduzido dentro da matriz do sensor será exacerbado por qualquer amplificador a jusante. Esses tipos de amplificadores costumam ter um ISO realmente alto, como 6400 e superior, razão pela qual a saída relativamente "limpa" na ISO 1600 e talvez 3200 repentinamente se torna muito pior em configurações ainda mais altas.

Outra fonte de bandas é o ADC. Há potencialmente dois culpados aqui. No caso de uma câmera como a 7D, que usa leitura paralela dividida (onde quatro canais de leitura são direcionados para um chip DIGIC 4 e outros quatro são direcionados para outro chip DIGIC 4 de maneira intercalada), uma faixa bastante pronunciada, mas até vertical pode ocorrer, mesmo no meio-tom, graças à resposta diferente dos processadores de imagem DIGIC DSP que abrigam quatro unidades ADC cada. Como as faixas pares são enviadas para as unidades ADC de uma DIGIC e as faixas ímpares são enviadas para as outras unidades ADC da DICIC, é improvável um processamento 100% idêntico e pequenas diferenças se manifestam como faixas verticais.

A fonte potencial final são os componentes de alta frequência. A lógica de alta frequência tem tendência a ser barulhenta. Usando a 7D novamente como exemplo, é um sensor de 18 megapixels, que um total de oito unidades ADC devem processar, a uma velocidade rápida o suficiente para suportar uma taxa de obturador de 8 qps. (Tecnicamente falando, a 7D tem ainda mais de 18 milhões de pixels ... na verdade, é um sensor de 19,1 megapixels, pois a Canon sempre mascara uma borda de pixels para deslocamento de polarização e calibração do ponto preto.) A 8fps, total de pixels processados ​​por segundo deve ter pelo menos 152.800.000 e, como existem oito unidades ADC, cada unidade deve processar 19,1 milhões de pixels a cada segundo. Isso requer uma frequência mais alta, que pode (através de uma variedade de mecanismos que não abordarei aqui) introduzir ruído adicional.

Existem maneiras de reduzir o HVBN. Alguns designs de sensores cortam valores de sinal negativo de pixels (ou, em outras palavras, não usam um deslocamento de polarização), que tem o efeito de reduzir para metade as faixas, mas também custando alguns detalhes potencialmente recuperáveis ​​nas sombras da imagem. Os sensores que usam um desvio de polarização (que permite valores de sinal negativos até um nível predefinido) tendem a ter mais HVBN com ISO mais baixo, pois menos clipping é realizado, a fim de suportar uma capacidade maior de poço inteiro. Um design ADC mais avançado pode reduzir o ruído, alguns até utilizam o ruído junto com uma forma de pontilhamento para quase eliminar o ruído introduzido pelo ADC.

Outra maneira de reduzir o ruído de bandas é movendo o sinal analógico para o digital mais cedo, de preferência no próprio sensor. Os dados digitais podem ser corrigidos por erro durante a transferência, onde os sinais analógicos tendem a captar ruídos quanto mais eles viajam ao longo de barramentos eletrônicos e através de unidades de processamento. Um aumento no número de unidades ADC melhora o paralelismo, reduzindo a velocidade em que cada unidade deve operar, permitindo a utilização de componentes de menor frequência. Melhores técnicas de fabricação (geralmente oferecidas por um processo de fabricação menor, que aumenta o espaço para hardware mais complexo), bem como melhores pastilhas de silício, podem ser usadas para normalizar a curva de resposta de cada transistor ou unidade lógica, permitindo que eles produzam resultados mais limpos, mesmo em frequências mais altas.

O Sony Exmor, o conhecido sensor quase sem ruído nas câmeras Nikon D800 e D600, adotou uma abordagem bastante radical para reduzir a forma mais intrusiva e frustrante de ruído. O Exmor move todo o pipeline de processamento de imagem até e incluindo o ADC na matriz do sensor. Hiperparalelou o ADC, adicionando uma coluna por pixel (CP-ADC ou ADC paralelo à coluna). Eliminou a amplificação analógica por pixel e o CDS analógico em favor da amplificação digital e do CDS digital. Isolou componentes de alta frequência em uma área remota da matriz do sensor, o que quase eliminou o ruído introduzido por cada unidade ADC. A leitura de pixel resulta na conversão imediata de uma carga analógica em uma unidade digital e permanece digital a partir desse ponto. Uma vez digital, toda a transferência de informações é efetivamente livre de ruídos,

Uma das grandes vitórias do Exmor (de acordo com a Sony) foi a eliminação do circuito analógico do CDS e a mudança para a lógica digital do CDS. A alegação da Sony era de que as diferenças de resposta para unidades CDS analógicas eram uma fonte de ruído de bandas. Em vez de armazenar a carga de redefinição de cada pixel como uma carga, é executada uma "leitura de redefinição", que é executada pelo mesmo processo ADC que uma imagem normal lida, com a exceção de que a saída digital é rastreada como valores negativos. Quando a exposição real é lida, ela é lida como valores positivos e a leitura CDS "negativa" anterior é aplicada em linha (ou seja, cada leitura de pixel começa com algum valor negativo e a contagem aumenta a partir daí). Isso elimina o ruído tanto da resposta não uniforme do transistor quanto da corrente escura simultaneamente.

Com um sensor Exmor, a leitura é efetivamente menos ISO (você pode ter ouvido esse termo em outro lugar na rede). Todas as configurações ISO são alcançadas através de um simples impulso digital (amplificação digital) para o nível apropriado. Para o RAW, a configuração ISO simplesmente precisa ser armazenada como metadados, e os editores do RAW aumentam cada valor de pixel para o nível apropriado durante o desmembramento. É por isso que uma foto ISO 100 D800 pode ser subexposta e depois levantada por muitas paradas, sem introduzir ruído de faixas nas sombras.

A formação de faixas é causada por vários fatores.

Assim como no gerenciamento de cores, qualquer dispositivo ao longo do processo de geração de imagens pode causar faixas. Isso pode ser causado por um monitor mal calibrado, uma impressora mal calibrada, um monitor não capaz de mostrar uma verdadeira LUT de 8 bits / 12 bits. Pela minha experiência, a maioria das bandas não é realmente inerente. Isso é causado pelo fato de o monitor não conseguir distinguir entre níveis discretos de cinza em um gradiente fino.

Realmente não vejo como o CMOS / CCD faria a diferença. Para entender isso, requer um pouco de conhecimento técnico, você precisa entender que o fator mais importante que influenciará a faixa é a profundidade de bits do seu sensor, isso por si só determina a quantidade de valores tonais discretos que seu sensor pode gravar. Um sensor de 12 bits registra 2 ^ 12 níveis de cinza, enquanto um sensor de 14 bits registra 2 ^ 14 = 16384 níveis de cinza. Agora, para complicar as coisas, a maioria das câmeras digitais não atribui uma função de peso linear à distribuição tonal de seus sensores. Isso significa que a câmera (de fato a maioria das câmeras) pode ser mais influenciada pela parte de destaque do espectro (é aqui que vem a frase "atirar para a direita", no que diz respeito aos histogramas).

Para complicar ainda mais, a maioria dos processadores de sensores pode (definitivamente faz) sua própria interpolação entre valores tonais esparsos. Isso significa, por exemplo, que se eu tiver um valor tonal de 5 em uma parte específica da imagem e uma área próxima tiver um valor tonal de 8, a câmera irá "adivinhar" qual deve ser o valor tonal intermediário. O ISO também pode ser um fator, pois influencia a faixa dinâmica e a latitude de exposição.

O que você deve investigar é se a faixa é exibida em mais de um dispositivo. Se você achar que é, pode tentar adicionar ruído gaussiano com um modo de mesclagem e máscara para se livrar dele. Vou incluir algumas imagens para mostrar o que quero dizer:

Criou algumas bandas com um gradiente escuro

Agora adicione uma camada de ruído:

(1) Crie uma nova camada

(2) Preencha com 50% de cinza: Editar -> Preencher -> 50% de cinza

(3) Defina o modo de mesclagem dessa camada como Hard Light

(4) Adicionar ruído: Filtro -> Adicionar ruído (gaussiano, 1% ou mais)

Você pode então tocar com a opacidade dessa camada até que as faixas desapareçam; você também pode criar uma máscara, se quiser.

Adicionando camada de ruído