Como funciona a super resolução?

Escolhendo essa pergunta , li o artigo da Wikipedia, mas não consigo entender por que o empilhamento de cópias da mesma imagem uma sobre a outra deve melhorar a resolução da imagem.

O processo é complicado, mas isso deve dar uma intuição ao que está acontecendo. Imagine que você tem uma câmera comum, mas com motores para mover o sensor meio pixel em qualquer direção.

Em vez de tirar uma foto, a câmera tira quatro: uma centralizada, uma deslocada meio pixel para a direita, uma deslocada meio pixel para baixo e uma deslocada meio pixel para a direita e meio pixel para baixo.

Podemos então pegar a imagem centralizada, dobrar o tamanho, espaçar os pixels da seguinte forma:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Em seguida, podemos preencher as lacunas, usando as outras imagens deslocadas, 1, 2 e 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Deixando-nos com uma imagem com o dobro da resolução. Curiosamente, existem câmeras que empregam essa técnica - como a Hasselblad H4D-200MS (desculpe se você tiver que perguntar quanto não pode pagar por uma).

A super-resolução com uma câmera padrão é um pouco mais complexa, pois quando você tem câmera descontrolada ou movimento de assunto, você não chega nem perto de uma mudança exata de meio pixel, mas, a menos que você seja extremamente azarado, sua imagem deslocada será um pouco diferente da original. Ao combinar imagens suficientes, você obtém uma imagem de amostra muito irregular (com amostras de pixels que não caem em uma grade), mas que pode ser interpolada (traçando linhas entre as amostras para adivinhar um resultado que cai em uma linha de grade exata) em uma imagem regular.

Considere que o sensor não é um dispositivo de captura perfeito. Cada pixel será gravado com alguma quantidade de erro. Por exemplo, se o valor mais preciso de um pixel for N, o sensor registrará um valor que esteja dentro de um intervalo N-E to N+Epara um determinado E. Para um bom sensor Eser pequeno, um sensor ruim terá um maior E.

Observe também que, em cada exposição, um determinado pixel terá um erro diferente, as células no sensor não terão memória; portanto, um pixel que saiu baixo uma vez pode sair alto no próximo.

Quando você faz várias exposições do mesmo assunto e as calcula a média, reduz efetivamente E. No exemplo de pixel acima, você calcula a média de vários valores diferentes em torno de um desconhecido N. Portanto, a média o aproximará desse ideal N.

O seguinte é como eu entendo as coisas. As pessoas devem sentir-se à vontade para apontar quaisquer equívocos para que todos fiquemos edificados, mas, com sorte, apontaremos os que encontrarem e não apenas murmurarão sua cerveja. (ou barbas ou ...).

Em termos simples e simplistas, há informações ligeiramente diferentes nas fotos diferentes e vários métodos são usados ​​para detectar e extrair essas informações extras e combiná-las de maneira aditiva consistente.

Vale a pena notar que não é garantido que o sistema funcione em todos os casos.
A [página de super-resolução da Wikipedia] observa:

• Nos algoritmos SR mais comuns, as informações obtidas na imagem SR foram incorporadas nas imagens LR na forma de alias.

  Isso requer que o sensor de captura no sistema seja fraco o suficiente para que o alias esteja realmente acontecendo. Um sistema limitado por difração não contém alias, nem um sistema em que a Função de Transferência de Modulação total do sistema esteja filtrando o conteúdo de alta frequência.

Alias ​​é a capacidade do sistema de apresentar adequadamente dados das frequências em questão. Veja "explicação" como final.

Se eu os entendi corretamente (e posso ou não), a frase "é fraca o suficiente" significa que são informações extras que o sensor não consegue resolver por si só e que geralmente é considerado ruim; por isso, normalmente é suprimido, sempre que possível, mas que esse "alias" informações adicionais são necessárias pelo sistema SR. A Nikon D800r não possui filtro óptico antialiasing no sensor, enquanto a D800 padrão e quase todas as outras DSLRs possuem esse filtro.

O MTF é efetivamente a capacidade das lentes de produzir contraste OU de produzir "nitidez" (as duas sendo fortemente inter-relacionadas. O MTF é geralmente melhor próximo ao meio da lente e, com uma imagem retangular, cai em direção às bordas e geralmente mais nos cantos da imagem Eles estão dizendo que a capacidade do sistema de produzir uma imagem de super resolução depende de sua capacidade de renderizar contraste e nitidez - ou seja, de sua qualidade - ou seja, a lente precisa ser pelo menos tão boa quanto a lente que oroduzirá a super Responda diretamente se os recursos do sensor e do processo forem aprimorados.

Aliasing é o que acontece quando um fluxo de informações é amostrado tão lentamente que algumas das informações de alta frequência mudam mais rapidamente; y do que a taxa de amostragem e "envolvem-se" e parecem ser realmente um componente de frequência mais baixa. Em um sistema limitador, a taxa de amostragem precisa ser pelo menos o dobro da taxa de informações mais alta presente, mas, na prática, são necessárias taxas um pouco mais altas do que isso.

Exemplo simples:

• Considere a sequência 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

  Claramente, existe um padrão que se repete a cada 12 unidades.
  É uma ave triangular que aumenta por 6 ciclos e diminui por mais 6 ciclos e depois se repete, com período = 12 unidades.

  Agora experimente a sequência apenas pela 11ª vez. Obtemos
  0 1 2 3 4 5 6 5 4 3 2 1
  Esse é exatamente o mesmo padrão, mas muda 11 vezes mais lentamente - uma onda triangular com período 11 x 12 = 132 unidades.

  Prove a mesma sequência a cada 8 vezes e você obtém 0 4 4 0 4 4 0 4 4
  ou seja, parece uma onda quadrada de 1: 2 com período = 24 unidades.

  Qualquer período de amostragem superior a 6 unidades de tempo = meio ciclo resultará em tais erros de aliasing.