Por que ainda é necessário um filtro anti-aliasing físico nas DSLRs modernas?

13

Entendo que o objetivo do filtro anti-aliasing (AA) é evitar moiré. Quando as câmeras digitais surgiram pela primeira vez, era necessário um filtro AA para criar desfoque suficiente para evitar padrões de moiré. Naquela época, o poder dos processadores de câmera era muito limitado. Mas por que ainda é necessário colocar um filtro AA sobre o sensor nas modernas câmeras DSLR? Isso não poderia ser realizado com a mesma facilidade pelos algoritmos aplicados quando a saída do sensor está sendo desmembrada?Parece que o atual poder de processamento disponível na câmera permitiria isso agora muito mais do que alguns anos atrás. O atual processador Digic 5+ da Canon tem mais de 100 vezes o poder de processamento do processador Digic III, que diminui o poder das câmeras digitais mais antigas. Especialmente ao gravar arquivos RAW, o desfoque de AA não poderia ser feito no estágio de pós-processamento? Essa é a premissa básica da Nikon D800E, apesar de usar um segundo filtro para neutralizar o primeiro?

Michael C
fonte
Não é. Já existem DSLRs sem filtro anti-alias, incluindo os Pentax K-5 IIs, Nikon D800E, além de modelos sem espelho como o Olympus PEN E-PM2 e todos os Fujis (X-E1, X-Pro1). Além disso, eles até anunciaram câmeras de lente fixa sem filtro AA (X20 e X100S).
Itai 07/02
1
E todas essas câmeras mostram moiré colorido às vezes.
Kendall Helmstetter Gelner
3
De fato, mas o mesmo acontece com outras câmeras. Eu suspeito que um filtro anti-alias que evite todo o moiré seria muito forte, então os fabricantes usam filtros AA de menor resistência. Como exemplo, na minha comparação K-5 IIs e K-5 II , moiré ocorre nas duas câmeras, apenas muito mais com as K-5 IIs.
Itai
1
IIRC, a nova Nikon D7100 também não tem uma.
James Snell
1
E agora, o Pentax K-3 não tem filtro, mas tem um modo de vibrar o sensor muito, muito ligeiramente durante a exposição para simular um. Muita inovação interessante nessa área.
Por favor, leia Profile

Respostas:

12

O alias é o resultado de padrões repetidos de aproximadamente a mesma frequência, interferindo entre si de uma maneira indesejável. No caso da fotografia, as frequências mais altas da imagem projetada pela lente no sensor cria um padrão de interferência (moiré neste caso) na grade de pixels. Essa interferência ocorre apenas quando essas frequências são aproximadamente as mesmas ou quando a frequência de amostragem do sensor corresponde à frequência da onda da imagem. Esse é o limite de Nyquist. Observe ... esse é um problema analógico ... o moiré ocorre devido à interferência que ocorre em tempo real no mundo real antes que a imagem seja realmente exposta.

Depois que a imagem é exposta, esse padrão de interferência é efetivamente "inserido". Você pode usar o software até certo ponto para limpar os padrões de moiré posteriormente, mas é minimamente eficaz quando comparado a um filtro físico de passa-baixo (AA) na frente do sensor. A perda de detalhes devido ao moiré também pode ser maior do que a perda para um filtro AA, pois o moiré é efetivamente dados sem sentido, onde detalhes levemente desfocados ainda podem ser úteis.

Um filtro AA foi projetado apenas para desfocar essas frequências no Nyquist, para que eles não criem nenhum padrão de interferência. A razão pela qual ainda precisamos de filtros AA é porque os sensores e lentes de imagem ainda são capazes de resolver com a mesma frequência. Quando os sensores melhoram ao ponto em que a frequência de amostragem do próprio sensor é consistentemente mais alta do que as melhores lentes em sua abertura ideal, a necessidade de um filtro AA diminui. A própria lente lidaria efetivamente com o desfoque necessário para nós, e os padrões de interferência nunca surgiriam em primeiro lugar.

jrista
fonte
Aqui está parte um comentário publicado em photo.stackexchange.com/questions/10755/… . Você ainda acredita que é preciso? Em caso afirmativo, como o padrão é inserido até que os dados RAW sejam desmembrados? "Ironicamente, pelo menos com RAW, o limite teórico de nyquist nem sempre parece ser um limite rígido, o que provavelmente se deve aos diferentes comprimentos de onda da luz vermelha, verde e azul e à distribuição de pixels RGB em um sensor. - jrista ♦ 10 de abril de 11 às 18:50 "
Michael C
1
Acredito que estava falando sobre resolução em geral lá, e não diretamente sobre o alias no sinal digital gravado. O limite de nyquist é meio difícil de definir em um sensor de camada devido ao padrão irregular das linhas RGRG e GBGB. A resolução espacial do verde é maior que a resolução espacial do vermelho ou do azul; portanto, o limite de nyquist na luz vermelha ou azul está em uma frequência mais baixa que o limite de nyquist na luz verde. O limite de nyquist em uma imagem demosaizada é meio difícil de chamar exatamente, então torna-se um pouco uma banda difusa, em vez de um limite matemático concreto.
jrista
1
... esse padrão se torna parte da imagem. Mesmo se você conhecesse as características exatas da wavelet da imagem virtual e pudesse produzir uma série de quatro camadas, seria necessário alterar a orientação da imagem em relação ao conceito virtual do sensor para eliminar o moiré "perfeitamente". Isso é muito trabalho intenso e altamente matemático ... supondo que você soubesse a natureza EXATA do sinal original da imagem virtual e sua relação com o sensor. Uma vez que o aliasing é inserido em um RAW, está praticamente pronto, não há como desfazê-lo sem suavizar os detalhes.
jrista
1
Eu sei tudo sobre a diferença de frequência entre vermelho / azul e verde. Como todos os filtros AA ópticos atuais que filtram apenas no nyquist, isso realmente depende da câmera. Nem todos os filtros AA são projetados exatamente da mesma forma, e mesmo para a mesma marca, modelos e linhas diferentes geralmente têm filtros AA que se comportam de maneira diferente. Eu sei que historicamente as linhas 1D e 5D permitiram ALGUMAS frequências logo acima de nyquist, mas acho que é uma questão de equilibrar com a resolução da lente.
jrista
1
Em sensores com pixels menores, como os Canon 18mp APS-C, D800, D3200, os pixels estão ficando muito, muito pequenos. Fora de um pequeno segmento, se as lentes realmente novas (como a geração da série L Mark II da Canon e somente as lançadas nos últimos dois a três anos) podem resolver detalhes suficientes para resolver significativamente o sensor e causar aliasing em frequências maiores que nyquist. Filtre em torno de nyquist, e a própria lente desfocará os detalhes além disso. Eu acho que isso é parte da razão pela qual a linha 5D possui um filtro AA excessivamente forte ... as lentes resolvem isso mais facilmente.
jrista
11

A física simplesmente não funciona dessa maneira. O aliasing transforma irreversivelmente as frequências além do limite de Nyquist para aparecerem como frequências abaixo do limite, embora esses "aliases" não estejam realmente lá. Nenhuma quantidade de processamento de um sinal com alias pode recuperar o sinal original no caso geral. As explicações matemáticas sofisticadas são bastante longas, a menos que você tenha uma aula de teoria de amostragem e processamento de sinal digital. Se você tivesse, você não faria a pergunta. Infelizmente, a melhor resposta é simplesmente "Não é assim que a física funciona. Desculpe, mas você precisará confiar em mim nisso". .

Para tentar dar uma ideia aproximada de que o exposto acima pode ser verdade, considere o caso de uma foto de uma parede de tijolos. Sem um filtro AA, haverá padrões de moiré (que são na verdade os pseudônimos) fazendo as linhas de tijolos parecerem onduladas. Você nunca viu o edifício real, apenas a imagem com as linhas onduladas.

Como você sabe que os tijolos reais não foram colocados em um padrão ondulado? Você supõe que eles não eram do seu conhecimento geral de tijolos e da experiência humana de ver paredes de tijolos. No entanto, alguém poderia apenas fazer questão de deliberadamente criar uma parede de tijolos para que parecesse na vida real (quando vista com seus próprios olhos) como a imagem? Sim eles poderiam. Portanto, é possível distinguir matematicamente uma imagem com alias de uma parede de tijolos normal e uma imagem fiel de uma parede de tijolos deliberadamente ondulada? Não não é. Na verdade, você também não pode dizer a diferença, exceto que sua intuição sobre o que uma imagem provavelmente representa pode dar a impressão de que você pode. Novamente, estritamente falando, você não pode dizer se as ondas são artefatos de padrão ondulado ou são reais.

O software não pode remover magicamente as ondas porque não sabe o que é real e o que não é. Matematicamente, pode-se mostrar que não pode saber, pelo menos olhando apenas para a imagem ondulada.

Uma parede de tijolos pode ser um caso óbvio em que você pode saber que a imagem com alias está errada, mas há muitos casos mais sutis onde você realmente não sabe e pode nem estar ciente de que o alias está acontecendo.

Adicionado em resposta aos comentários:

A diferença entre colocar um alias em um sinal de áudio e em uma imagem é apenas que o primeiro é 1D e o segundo 2D. A teoria e qualquer matemática para realizar efeitos ainda são as mesmas, apenas que são aplicadas em 2D ao lidar com imagens. Se as amostras estiverem em uma grade retangular regular, como em uma câmera digital, surgirão outras questões interessantes. Por exemplo, a frequência da amostra é sqrt (2) mais baixa (cerca de 1,4x mais baixa) ao longo das direções diagonais, ao contrário das direções alinhadas ao eixo. No entanto, a teoria da amostragem, a taxa de Nyquist e o que realmente são os aliases não são diferentes em um sinal 2D do que em um sinal 1D. A principal diferença parece ser que isso pode ser mais difícil para aqueles que não estão acostumados a pensar no espaço de frequências para pensar e projetar o que tudo isso significa em termos do que você vê em uma imagem.

Novamente, não, você não pode "demosaic" um sinal após o fato, pelo menos não no caso geral em que você não sabe o que o original deveria ser. Os padrões de moiré causados ​​pela amostragem de uma imagem contínua são aliases. A mesma matemática se aplica a eles, assim como se aplica a altas frequências, aliasing em um fluxo de áudio e soando como assobios de fundo. É o mesmo material, com a mesma teoria para explicar e a mesma solução para lidar com isso.

Essa solução é eliminar as frequências acima do limite de Nyquist antes da amostragem. Em áudio que pode ser feito com um simples filtro passa-baixo, você pode criar um resistor e um capacitor. Na amostragem de imagens, você ainda precisa de um filtro passa-baixo; nesse caso, ele absorve parte da luz que atingirá apenas um único pixel e a espalha em pixels vizinhos. Visualmente, isso parece um leve embaçamento da imagem antesé amostrado. O conteúdo de alta frequência parece detalhes finos ou bordas nítidas em uma imagem. Por outro lado, bordas nítidas e detalhes finos contêm altas frequências. São exatamente essas altas frequências que são convertidas em alias na imagem amostrada. Alguns aliases são o que chamamos de padrões moiré quando o original tinha algum conteúdo regular. Alguns aliases dão o efeito "degrau da escada" a linhas ou arestas, especialmente quando estão quase na vertical ou na horizontal. Existem outros efeitos visuais causados ​​por aliases.

Só porque o eixo independente nos sinais de áudio é o tempo e os eixos independentes (dois deles porque o sinal é 2D) de uma imagem são a distância não invalida a matemática ou, de alguma forma, a diferencia entre sinais e imagens de áudio. Provavelmente porque a teoria e as aplicações de aliasing e anti-aliasing foram desenvolvidas em sinais 1D que eram voltagens baseadas no tempo, o termo "domínio do tempo" é usado para contrastar com o "domínio da frequência". Em uma imagem, a representação do espaço sem frequência é tecnicamente o "domínio da distância", mas, para simplificar o processamento do sinal, é frequentemente referido como "domínio do tempo". Não deixe que isso o distraia do que realmente é o apelido. E não, não há evidências de que a teoria não se aplique às imagens, apenas que às vezes é usada uma escolha enganosa de palavras para descrever as coisas devido a razões históricas. De fato, o atalho "domínio de tempo" aplicado ao domínio de não frequência de imagens é realmenteporque a teoria é a mesma entre imagens e sinais verdadeiros baseados no tempo. Alias ​​é um alias, independentemente do eixo (ou eixos) independente.

A menos que você esteja disposto a investigar isso no nível de alguns cursos universitários sobre teoria de amostragem e processamento de sinais, no final, você terá que confiar naqueles que o têm. Algumas dessas coisas não são intuitivas sem uma base teórica significativa.

Olin Lathrop
fonte
Toda a minha formação em amostragem e processamento de sinais digitais tem sido em relação ao áudio digital. Entendo como um filtro passa-baixo age para limitar os sons acima de uma certa frequência ao entrar na conversão do AD. Se você está amostrando a 44.100hz, aplica um filtro que começa a sair a cerca de 20Khz e qualquer resposta de 22Khz desaparece. Mas com imagens digitais não é tão simples, porque mesmo com filtros AA, alguns aliases passam. Eu li em outro lugar que os filtros não tentam bloquear tudo acima do Nyquist, porque isso reduziria muito a resolução.
Michael C
1
Eu teria que concordar que o problema que um filtro passa-baixo em uma câmera lida não é o mesmo que o problema que um filtro passa-baixo no processamento de áudio lida. Acho que a melhor maneira de dizer isso é que um filtro passa-baixo de áudio funciona diretamente com um sinal eletrônico, enquanto um filtro passa-baixo óptico trabalha nas frequências espaciais de um sinal de imagem produzido por uma lente. O sinal eletrônico com o qual você está acostumado a trabalhar é de natureza diferente do sinal de imagem.
jrista
1
@ Michael: Veja a adição à minha resposta.
Olin Lathrop
1
"Os padrões de moiré causados ​​pela amostragem de uma imagem contínua são pseudônimos." Olin. Eu acho que esse é o ponto chave aqui! Quando você efetua a exposição, não está gravando uma versão pura da imagem virtual original ... está registrando aliases de pontos de dados nessa imagem virtual original. Esses dados no seu computador contêm aliases. Maneira muito agradável, concisa e clara de colocá-lo. :)
jrista
1
@ Michael: O que você diz sobre como os pixels de cores são interpolados a partir dos valores brutos do sensor está correto, mas não tem influência na discussão sobre alias. Por fim, a imagem contínua real ainda está sendo amostrada em pontos discretos; portanto, é necessário um filtro anti-alising antes da amostragem para evitar aliases. Quanto ao seu comentário sobre álgebra, não faz absolutamente nenhum sentido. É claro que a álgebra se aplica a polinômios de ordem superior e equações 2D, apenas que fica mais complexa devido ao fato de haver mais variáveis ​​independentes.
Olin Lathrop
6

Você não pode obter o mesmo efeito no software. Você pode chegar a algum lugar próximo, dadas certas suposições. Mas o filtro AA espalha a luz de forma que atinja vários pixels coloridos diferentes, fornecendo informações ausentes do sensor de filtro sem AA.

A Nikon D800E não faz nada para tentar replicar o filtro AA. Se houver padrões de alta frequência na imagem, você terá mais moiré e esse é o seu problema - você precisa lidar com isso!

O alias é pior quando a frequência de detalhes na imagem está muito próxima da frequência de amostragem. Para câmeras mais antigas com sensores de baixa resolução (e, portanto, amostragem de baixa frequência), o moiré era um problema sério com muitos tipos de detalhes de imagem, portanto os filtros AA eram fortes (nada a ver com o poder de processamento limitado). Agora, temos frequências de amostragem muito mais altas, são necessários detalhes da imagem de frequência muito mais alta para que o moire seja exibido.

Eventualmente, as frequências de amostragem serão tão altas que os detalhes necessários dos objetos de alta frequência não ultrapassarão as aberrações das lentes e os efeitos de difração, tornando o filtro AA redundante. Esta é parcialmente a razão pela qual algumas partes traseiras da MF não possuem um filtro AA, super alta resolução e fotógrafos de moda que gostam de fotografar em f / 32 com as gigantes caixas de força Profoto que provam iluminação.

Matt Grum
fonte
Parece-me que a interpolação feita no processo de demosaicing poderia ser modificada para realizar exatamente a mesma coisa, uma vez que a média de pixels adjacentes é o que é feito lá. A Nikon D800E possui dois componentes de filtro AA, assim como outras câmeras, mas em vez de uma luz polarizadora horizontalmente e a outra polarizada verticalmente, a segunda fica a 180 graus da primeira e tira os raios polarizados da primeira e os combina novamente em um fluxo. Veja photo.stackexchange.com/questions/22720/…
Michael C
2
@MichaelClark Não, você não pode obter o mesmo efeito no processo de desmosaicing. Um único ponto de luz atingindo o sensor D800E produzirá carga apenas em um photosite. Não há como saber qual a cor da luz olhando para os pixels vizinhos, a informação foi perdida para sempre. O mesmo ponto de luz atingido no sensor D800 (com filtro AA) atingirá um pixel fortemente e os pixels circundantes em menor extensão. Como os pixels vizinhos têm filtros de cores diferentes, observando suas intensidades, é possível que um algoritmo de demosaicing calcule a cor da luz.
precisa
1
@MichaelClark A única razão pela qual o D800E tem esse arranjo é simplificar o processo de fabricação, é muito mais fácil alterar a orientação de um dos filtros no estágio de entrada do que trocar dois filtros por um elemento de vidro transparente - em última análise, o filtro A pilha deve ter a mesma altura, pois possui um efeito de refração, e os designs modernos das lentes levam isso em consideração. Simplesmente não colocar nenhum filtro na D800E introduziria uma aberração sutil nas imagens.
quer
Mas, ao mesmo tempo em que um único ponto de luz está atingindo um local do sensor, os pontos de luz correspondentes estão atingindo todos os locais adjacentes do sensor e o filtro AA está fazendo com que todos derramem luz um sobre o outro. A maioria dos algoritmos de desmaterialização não usa interpolação para comparar os níveis de luminosidade não apenas dos poços de pixel imediatos, mas também de outros poços de pixels próximos com a mesma sensibilidade de cor? Efetivamente, não é borrar pixels adjacentes matematicamente o que você está fazendo?
Michael C
1
@MichaelClark o alias não é um borrão. Afeta pixels muito distantes um do outro. Por exemplo, você terá uma batida a cada 50 pixels, diminuindo ou diminuindo o tamanho 10. Essa faixa foi real ou foi causada por faixas menores que os pixels? Você não pode saber.
JDługosz
2

Todas essas são boas respostas e boas informações. Eu tenho uma explicação muito simplificada. Vamos de 2D para 1D (o mesmo conceito se aplica).

Quando uma frequência atinge o seu sensor mais alta que a "frequência máxima permitida", ela cria uma frequência de espelho no lado inferior . Após a amostragem da sua imagem, você verá esse sinal mais baixo, mas a câmera ou o computador não sabe se esse era um sinal mais baixo real que realmente estava lá ou se era um apelido criado a partir de um sinal muito alto. Esta informação está perdida. Essa é a razão da "frequência máxima permitida" ou da frequência nyquist. Diz que esta é a frequência mais alta que pode ser amostrada e, acima dela, as informações serão perdidas.

um analógico para o áudio: digamos que você tenha seu sistema configurado onde deseja uma faixa de frequência de 0hz a 1000hz. para deixar um pouco de espaço extra, você experimenta a 3000hz, o que torna seu niquista 1500hz. é aqui que entra o filtro aa. você não deseja que nada acima de 1500hz entre, na realidade, seu corte começará logo após 1000hz, mas você garante que, quando chegar a 1500hz, não restará nada.

vamos supor que você esqueça o filtro aa e permita que um tom de 2500 hz entre no seu sensor. ele se espelhará em torno da taxa de amostragem (3000 hz), para que seu sensor capte um tom de 500 hz (3000 hz - 2500 hz). agora que seu sinal foi amostrado, você não saberá se o 500hz estava realmente lá ou se é um apelido.

btw. as imagens no espelho acontecem para todas as frequências, mas não são um problema, desde que você não esteja acima do nyquist, pois é possível filtrá-las facilmente mais tarde. O tom de entrada de exemplo é 300 hz. você terá aliases em (3000 - 300 = 2700hz [e para corrigir também 3000 + 300 = 3300hz]). no entanto, como você sabe que está considerando apenas 1000 hz, eles serão facilmente removidos. então, novamente, o problema surge quando as imagens no espelho entram no espectro que você realmente deseja, porque você não será capaz de perceber a diferença e é isso que elas querem dizer com "assado".

espero que isto ajude

pgibbons
fonte
1
Exceto que o "aliasing" no contexto da fotografia é "espacial", com base em padrões repetidos na imagem projetada no sensor, e não em freqüências específicas de luz atingindo um único pixel. Os filtros ópticos de passa-baixo na maioria dos sensores de câmera não filtram "todas" as frequências acima do limite de Nyquist, apenas filtram 'a maioria' dos padrões repetidos no limite de Nyquist e nos múltiplos relacionados.
Michael C
Agradeço seu comentário. Também não estava me referindo às frequências da luz, mas à taxa de mudança de intensidade de um pixel para o outro. Eu estava ignorando as cores. Eu acho que eu estava olhando para ele como 3 imagens em preto e branco individuais. Mais tarde, cada um recebe uma cor e, sobrepostos, compõem todas as cores. Ainda é difícil para mim envolver minha cabeça em torno de frequências em imagens. Eu acho que quando você tem um pixel branco ao lado de um pixel preto, ele representa altas frequências devido à rápida taxa de alteração e um pixel cinza claro ao lado de um pixel cinza escuro é uma frequência mais baixa.
Pgibbons
Não é exatamente assim que funciona o desmosaicing de um sensor mascarado da Bayer e é uma das razões pelas quais eu originalmente fiz a pergunta.
Michael C
Frequências mais altas neste contexto estão repetindo padrões com menos distância no sensor entre cada repetição. As frequências mais baixas estão repetindo padrões com mais distância entre cada repetição. Se o tom de pixel de um sensor for 6 µm, os padrões que se repetem a cada 3 µm estariam na frequência Nyquist. Os padrões que se repetem a cada 4 µm estariam abaixo da NF, e os padrões que se repetem a cada 2 µm estariam acima dela.
Michael C