O que aconteceu com os sensores Foveon?

12

Parece que o sensor Foveon deve ser capaz de produzir imagens melhores, porque não depende dos pixels vermelhos, verdes e azuis separados que existem na maioria das câmeras digitais. No entanto, as câmeras equipadas com sensores Foveon são praticamente inexistentes. Por quê?

(Nota: Esta pergunta foi inspirada na resposta do Filtro Bayer, onde o filtro Bayer potencialmente causou problemas ...)

Billy ONeal
fonte
Algumas deficiências técnicas da geração anterior do sensor Sigma foveon: pentaxforums.com/forums/pentax-news-rumors/...
Eruditass

Respostas:

10

O que aconteceu foi que a Sigma comprou a Foveon e exerceu muita pressão sobre eles para produzir um sensor capaz de competir com os sensores DSLR padrão. Agora que a Sigma está construindo toda a câmera e o sensor, há muito mais foco na produção de um produto final atraente.

No ano passado, a Sigma anunciou o SD1, que usa um sensor APS-C (colheita 1,5X) com 15 milhões de fotos. Eles contam como a Sigma o chama de sensor de 46 megapixels. Eles não divulgaram muitos detalhes aos membros da imprensa (pelo menos eu), mas espera-se que estejam disponíveis neste verão.

Ainda existem várias câmeras Sigma (DP1x, DP2s, SD15) em produção que usam o sensor 1.7X Foveon com 4,5 milhões de photosites (também conhecido como 14 megapixels).

Itai
fonte
6
Deve-se notar que o uso de megapixels aqui não pode ser usado em comparação direta com megapixels de sensores do tipo bayer. Embora possa haver 46 milhões de elementos fotossensíveis distintos no sensor, a imagem produzida é uma imagem de 15 megapixels. Os benefícios do Foveon são moiré de cores mais baixas e melhor definição de cores em cada pixel da imagem.
jrista
5
Deve-se observar que os sensores do tipo bayer também não têm relação real entre as classificações de MP que usam e a imagem final de saída, porque o MP fornece uma contagem de fotos, três das quais são necessárias para qualquer pixel de saída. Além disso, qualquer sensor de camada pode ter uma força diferente do filtro AA, o que prejudica ainda mais a nitidez da imagem, enquanto produz a mesma contagem de pixels na saída. Os sensores da Foveon não usam filtros AA.
Kendall Helmstetter Gelner
@ Kendall: Os sensores Bayer seriam descritos com mais precisão como tendo "interseções" de pixels XYmp. Os sensores Bayer e seus processadores de imagens produzem imagens interpolando todos os photosites de sensores vizinhos em cada interseção para produzir um pixel de imagem RGB. Isso significa que quatro (não três) photosites de camada são interpolados para produzir um único pixel RGB. Em um sensor de 15mp bayer, existem de fato 15mp "RGB pixel intersections", devido à maneira como a interpolação é realizada. Apenas multiplique a largura e a altura dos tamanhos de imagem bayer para ver como são as classificações MP reais .
jrista
1
Quanto aos filtros AA, depende do filtro se isso prejudica a nitidez da imagem ou não. O objetivo do filtro (que acredito ser melhor descrito como filtros passa-baixas) é filtrar as frequências espaciais abaixo da resolução espacial do sensor. Quando um sensor tenta resolver frequências espaciais abaixo de seu "limite nyquist", os artefatos resultantes têm um efeito prejudicial muito maior na imagem do que qualquer outra coisa. O filtro passa-baixas, quando projetado corretamente, filtra apenas as frequências que não podem ser resolvidas para começar ... assim, elas não "prejudicam" mais nada.
jrista
Algumas DSLRs têm filtros passa-baixo muito fortes. No entanto, no caso geral (Canon e Nikon), elas parecem estar certas (o que seria de esperar, após mais de uma década fabricando e usando sensores bayer.) A geração atual de sensores bayer CMOS parece resolver ou sair adequadamente -resolve todos, mas as melhores lentes absolutos, portanto, quaisquer queixas sobre filtros passa-baixa só se aplicam a casos marginais (ou no caso em que o filtro está mal concebido e muito forte.)
jrista
7

Tudo se resume a isso: pelo menos para a maioria das pessoas, a resolução espacial (especialmente na faixa de cores verde) é muito mais importante que a resolução de cores, especialmente nos vermelhos e azuis. A curva de resposta em cores que incluí em uma resposta anterior fornece pelo menos uma noção do motivo disso.

Isso é particularmente relevante quando a grande maioria das imagens armazenadas / exibidas eletronicamente estão nos formatos JPEG ou MPEG. Esses formatos suportam uma amostragem reduzida dos canais de croma em meia resolução de qualquer maneira - e (especialmente no caso do MPEG) é assim que a maioria das imagens é armazenada. Como tal, a conversão de dados de um sensor Foveon para o formato JPEG ou MPEG geralmente descarta um pouco da informação extra que você coletou.

Embora o benefício não seja necessariamente grande, algumas câmeras com sensor Bayer (por exemplo, as sofisticadas Leaf / Phase One) suportam a troca de sensor para tirar uma série de quatro fotos (de um assunto fixo) com o sensor mudado para posições diferentes , para que cada pixel na imagem final tenha informações completas sobre cores (e ainda tenha o dobro de bits para verde e vermelho ou azul, para que ainda se encaixe razoavelmente bem na visão normal).

Jerry Coffin
fonte
As câmeras Sigma adiantadas usavam configurações de compactação JPEG (subamostragem) que não mostravam seu sensor com a melhor vantagem, mas eles consertaram isso. Gostaria de me lembrar de onde tinha visto uma demonstração bastante gráfica do problema.
Mark Ransom
Observe que a abordagem de mudança de fase é realmente apenas prática para assuntos estáticos. Há muito valor na coleta de todos os dados de uma só vez.
Kendall Helmstetter Gelner
1
Eu realmente não acho relevante comparar um corpo de formato médio com um corpo de 35 mm, eles seriam usados ​​de maneiras totalmente diferentes de qualquer maneira ... Eu só queria observar que, embora a troca de sensores seja uma maneira de abordar potencialmente o problema, mesmo para câmeras menores, que possui desvantagens reais.
Kendall Helmstetter Gelner
1
Também digno de nota é que, dependendo fortemente da teoria observada de que a resolução espacial verde é mais importante que a resolução azul / vermelho, leva à geração de imagens que parecem mais nítidas, mas menos precisas. Existe uma desvantagem em qualquer tipo de compactação de dados, e jogar fora 2/3 dos comprimentos de onda visíveis para qualquer local espacial especificado em uma imagem de saída é definitivamente uma forma de pré-compactação de imagem, nem mesmo o uso de formatos RAW pode Gambiarra.
Kendall Helmstetter Gelner
4
@ Kendall: mas chamá-lo de "2 / 3rds" é um pouco enganador. Claramente, não estamos gravando todo o espectro eletromagnético, não importa o quê. Portanto, focar na porcentagem do espaço de cores da visão humana coberto parece muito mais realista.
Por favor, leia meu perfil
3

Os sensores Foveon são ótimos em teoria, mas na prática eles não são uma opção atraente. Eles geralmente têm uma resolução muito mais baixa e só podem competir contando os 3 sensores em cada posição de pixel como pixels individuais.

A Sigma ainda produz câmeras com sensores Foveon: http://blog.sigmaphoto.com/2011/faqs-the-sigma-camera-and-its-foveon-x3-direct-image-sensor/

Mark Ransom
fonte
+1 - Essa perda de resolução afeta a qualidade da imagem? Claro, você tem menos pixels, mas está recebendo todos os 24 bits por pixel, em vez de 8. (Não, não trabalho para a foveon, estou apenas tentando entender;))
Billy ONeal
Verdade. Acontece que a maioria das pessoas vive melhor com a precisão das cores e obtém o nosso sensor interpolado por camadas de ~ 14MPix, que são verdadeiras cores de 24 bits da DSLR da Foveon que possui apenas resolução de 5Mpix.
che
1
Pense bem, sua afirmação sobre a contagem de pixels parece meio atrasada. Uma câmera bayer de 15 MP possui exatamente um photosite (vermelho, verde ou azul) em qualquer local, mas conta um total de três em cada local (a combinação de vermelho, verde e azul) para fornecer esse número de saída de 15 MP . Você parece estar dizendo que Foveon está enganando você, embora não reconheça que a Bayer está fazendo a mesma coisa do outro lado, fingindo que eles têm 15MP de dados quando realmente têm menos. Quanta resolução tem uma câmera de 15MP bayer quando você coloca um filtro vermelho? 3.75MP de dados gravados.
Kendall Helmstetter Gelner
1
@ Kendall: Tecnicamente falando, um sensor de 15mp bayer conta INTERSECTIONS entre quads de pixels, em termos da imagem produzida. A Bayer não tem menos de 15mp, simplesmente interpreta as informações em cada ponto que representam um pixel de imagem de uma certa maneira. Tudo igual, o olho humano funciona mais como uma matriz de camadas que um Foveon, e nossa percepção visual da acuidade / cor é excelente. Eu acho que você coloca muito peso negativo na amostragem bayer do que ela merece e muito bônus na amostragem de mais de uma amostra. Ambas as tecnologias têm seus prós e contras, os foveons são apenas diferentes dos bayers.
jrista
1
@ Kendall, embora cada pixel de uma matriz Bayer tenha um filtro à frente, eles ainda são pixels individuais com suas próprias características espaciais. A interpolação sofisticada permite que o canal vermelho incorpore informações dos canais verde e azul também.
Mark Ransom
3

O que aconteceu com o sensor Foveon é que a Sigma adotou a tecnologia desde o início, mas outras empresas de câmeras estavam relutantes em fazê-lo.

Esse estado continua até hoje. A Sigma continua a evoluir as câmeras, oferecendo atualmente uma SD-15 DSLR, e as câmeras compactas de sensor grande com distância focal fixa DP-1 e DP-2.

No entanto, recentemente, a tecnologia da Foveon parece estar em alta. Como outro post mencionado, a Sigma parece perto de liberar um sensor Foveon bastante aprimorado no SD-1 com manipulação de ruído ainda melhor e resolução que excede praticamente qualquer DSLR de consumidor atualmente (embora não seja um sistema de médio formato). O novo sensor é conhecido por ter aproximadamente 46MP, o que traduzido em equivalência da Bayer significa cerca de 30MP de detalhes aproximadamente iguais a uma imagem da Bayer - ou seja, se você tirou a imagem de saída de 15 milhões de pixels de um RAW convertido de um SD-1 , e ampliamos a amostra para 30MP, seria idêntico a uma imagem bayer de 30MP. Além disso, ele também não apresentaria problemas de padrão de cores que um sensor Bayer possa ter, além de ter uma melhor queda em detalhes. Os sensores da Foveon tradicionalmente mantêm uma grande faixa dinâmica e também muito baixo ruído em ISOs mais baixos,

Então, o que mudou para melhor que permita tais avanços? Em parte porque estamos vendo o resultado de um constante trabalho de pesquisa e desenvolvimento na Foveon, mas também porque a Sigma comprou a Foveon e agora os concentra totalmente na produção de melhores sensores de câmera grandes. Antes que a Foveon tentasse ver qual segmento do mercado fotográfico poderia ser um bom cliente para a tecnologia, o resultado foi muito mais disperso em objetivos.

Não são apenas os resultados desse foco observados em aumentos de resolução realmente significativos do sensor em relação às gerações anteriores, mas também que a tecnologia foi selecionada para ir a Marte pela ESA:

http://translate.google.com/translate?hl=da&sl=ko&tl=pt&u=http%3A%2F%2Fwww.styledb.com%2Fbbs%2Fboard.php%3Fbo_table%3DB08_news%26wr_id%3D102

Desculpe pela tradução grosseira, não consigo encontrar outra fonte para essas notícias.

Então, basicamente, o que está acontecendo com a tecnologia Foveon é que ela ainda está evoluindo, exatamente a um ritmo aparentemente mais lento do que outras tecnologias de sensores, mas o que pode acabar sendo um salto à frente delas. Precisamos ver o que o novo sensor pode fazer para ver onde realmente está o estado da tecnologia da Foveon atualmente. Portanto, essa é realmente uma ótima pergunta a ser analisada em três meses.

Se você realmente deseja obter mais informações sobre como uma imagem de saída de 15 milhões de Foveon pode conter muito mais detalhes do que uma imagem de saída de 30 MP, leia este artigo comparando um sensor de 4.7MP Foveon com um de 12MP Bayer (Canon 5D ):

http://www.ddisoftware.com/sd14-5d/

Observe especialmente a resolução da cartela de cores e pondere esta questão interessante - uma câmera de 15MP com apenas 3.75 milhões de fotos detectando vermelho. Portanto, se você colocar um filtro vermelho tradicional como os fotógrafos em preto e branco gostam de usar, todos os outros sensores ficam ocultos e agora você está fotografando com uma câmera de 3,75MP. Enquanto isso, um sensor Foveon de 46MP com três camadas de 15 milhões de photosites detectando vermelho / verde / azul (aproximadamente) não se importa com o filtro que você coloca na frente dele, cada pixel de saída retém dados de 15 milhões de sensores vermelhos diferentes.

Pode parecer um caso arbitrário, mas e o tom muda em algo como um carro vermelho - ou um céu azul.

Para aqueles que realmente se perguntam para onde a Foveon está indo em um nível técnico, leia a última patente da Foveon que cobre basicamente os fundamentos do que provavelmente é o sensor SD-1:

http://www.freepatentsonline.com/y2010/0155576.html

Uma última coisa a observar é que alguma forma da tecnologia Foveon, mesmo que não o design da Foveon, pareça exatamente o futuro das imagens - as patentes começaram a chegar da Sony e de outras empresas que também procuram maneiras de colocar sensores em camadas.

Kendall Helmstetter Gelner
fonte
Veja os comentários na minha resposta. A patente vinculada a cobre um esquema para conectar vários "sensores de pixel" para que possam ser lidos em grupos, reduzindo a necessidade de cabeamento. A necessidade de mais fiação em um espaço menor é um problema natural quando você empilha os sensores uns sobre os outros, então essa é uma solução para isso. Infelizmente, ele não fornece uma descrição adicional dos fundamentos do sensor SD-1.
Leia meu perfil
@ Kendall: Eu acho que você realmente precisa reconsiderar a afirmação "uma resolução que excede praticamente qualquer DSLR do consumidor hoje". A especificação de 46mp do SD1 NÃO é a mesma em termos de resolução de imagem que muitos DSLRs no mercado hoje. Resolução refere-se à capacidade de resolução de detalhes, e o uso enganoso de MP da Sigma em seus sensores leva as pessoas a cometer o erro mais grave que você acabou de ter. O SD1 resolve 3200 linhas, enquanto a Canon 5D II resolve 3744 e os Sony A900 resolve 4032.
jrista
1
Resolução e MP precisam ser tratados de maneira distinta quando se fala sobre o SD-1, pois a Sigma conta todas as três CAMADAS de sensels em cada photosite para chegar ao número 46mp. Seu comentário de upsampling também é muito subjetivo e não se baseia em todos os fatos. A imagem de 15mp produzida por um sensor Foveon exibirá moiré inferior, principalmente moiré colorido, mas certamente não RESOLVEU mais detalhes. Simplificando, 3200 linhas de resolução são 3200 linhas de resolução e 4032 linhas de resolução são 4032 linhas de resolução ... a última possui mais detalhes. Upsampling nunca melhora a capacidade de resolução.
jrista
Deve-se notar também que a percepção humana é mais sensível ao verde, menos sensível ao vermelho e menos sensível ao azul. O fato de haver metade do número de pixels vermelhos / azuis em um design básico precisa ser ponderado com os fatos simples da percepção humana. Também é preciso observar que as deficiências da interpolação de camadas usadas para criar imagens são realmente um problema ao fotografar objetos de alta frequência espacial que exibem moiré e, em todos os outros momentos, a imagem resultante é suficiente para a grande maioria das fotografias. .
jrista
2
Por fim, deve-se notar também que, com as câmeras Canon modernas, o uso de sRAW e mRAW pode produzir imagens de resolução mais baixa que fazem pleno uso dos quatro pixels bayer de cada pixel da imagem. Nenhuma interpolação ocorre ao usar sRAW / mRAW, no entanto, a resolução da imagem é mais baixa (mais próxima dos tamanhos de imagem da Foveon). A interpolação da Bayer é usada apenas ao usar o RAW completo. Penso que este é um grande testemunho da versatilidade da bayer e uma boa indicação de por que a Canon ainda não se mudou para a Foveon.
jrista
3

Há duas questões que têm sido problemático para foveon sensores outro do que o problema de resolução espacial. Ambos são inerentes ao conceito-chave de Foveon: usando a absorção espectral de diferentes profundidades de silício para separar cores.

Com uma matriz Bayer, os diferentes filtros são criados com corantes cuidadosamente selecionados para corresponder às primárias vermelha, verde e azul escolhidas. Com Foveon, a distinção é inteiramente baseada na física do silício, que não é uma correspondência tão elegante quanto os materiais de marketing normalmente mostram. Isso resulta nos dois problemas.

Primeiro, as três cores primárias registradas pelos sensores da Foveon estão mais longe dos comprimentos de onda primários aos quais as células cônicas do olho humano respondem e, de fato, o formato da curva de comprimento de onda ao qual cada profundidade responde é muito diferente daquele de nossa visão. Isso significa que o espaço de cores nativo do dispositivo tem uma forma diferente e alterada do sRGB e de outros espaços de cores de saída típicos - ou da visão humana. O sensor registra "cores imaginárias" - que realmente não conseguimos ver - em alguma parte da faixa de cores e outras partes da faixa de cores não são cobertas perfeitamente. Isso não aparece como falta de cores, mas como uma espécie de daltonismo (a analogia é realmente muito boa, pois é efetivamente o mesmo problema),

Segundo, a luz vermelha de baixa frequência é absorvida no nível mais profundo, o que inevitavelmente resulta em alguma atenuação - o que significa mais ruído no canal vermelho. Pelo que entendi, a redução de ruído nas câmeras Sigma lida com isso borrando o canal vermelho com mais força. Sei que minha câmera com sensor Bayer exibe, por uma ampla margem, mais ruído no canal azul . Não tenho certeza se esse é um problema inerente aos sensores Bayer ou CMOS ou se é um problema duplo no Foveon. (Eu fiz essa sua própria pergunta .)

Nada disso significa que a ampla tecnologia Bayer seja perfeita, ou mesmo absolutamente melhor que a Foveon. Só que tudo tem seus compromissos, e Foveon acaba tendo alguns difíceis. Os grandes problemas da Bayer (aliasing, resolução de cores) podem ser resolvidos jogando mais pixels no problema, dados os aumentos correspondentes no tratamento de ruído. Até agora, isso funcionou com muito sucesso e, é claro, não é por acaso que corresponde bem ao marketing baseado em megapixels.

Atualização (maio de 2011): A Sigma acaba de anunciar o novo modelo "SD1", com preço em torno de US $ 9.700 - custo comparável a algo como a câmera de médio formato Pentax 645D, mas com um sensor do tamanho APS-C. Será interessante ver se eles realmente conseguiram resolver alguns desses problemas. Minha especulação é que eles provavelmente tenham, mas pelo tipo de custo que os levou a mudar o mercado-alvo. Mas, mesmo assim, não tenho tanta certeza - o ISO máximo ainda é 6400, duas paradas atrás da atual safra de sensores Bayer. (Continua a ser visto, é claro, se eles simplesmente decidiram um limite mais conservador. Sem olhar muito mais para a bola de cristal, não há como dizer; eu atualizarei isso novamente quando as críticas chegarem, e se eu "

Isenção de responsabilidade: Eu não tenho uma câmera com sensor Foveon (embora eu tenha usado uma, e foi legal!). Eu não sigo a tecnologia muito de perto. A Sigma está investindo bastante em solucionar ou solucionar esses problemas.

Leia meu perfil
fonte
Tudo o que você diz parece ser tratado no design mais recente do sensor, se você olhar para a patente. Nas filmagens no mundo real, achei os dados de cores mais precisos, às vezes muito mais precisos, em média do que as outras pessoas com quem fotografei os mesmos assuntos em um grupo. Quanto à resolução, o bayer conseguiu manter-se à frente com contagens de resolução mais altas, mas com o sensor SD-1, os sensores do bayer não estão mais à frente na resolução.
Kendall Helmstetter Gelner
Você pode resumir as melhorias? Eles são basicamente soluções alternativas ou é algo mais inteligente que isso?
Por favor, leia meu perfil
Se você ler o link da patente que eu publiquei na minha resposta, pode ajudar. Mas um deles parece ser pares ligeiramente diferentes (talvez mais que pares) de sensores azuis por photosite vermelho / verde subjacente, que faz um trabalho melhor de separar os comprimentos de onda e possivelmente mover o intervalo coberto para melhor corresponder ao espectro visível. Também o design supostamente reduz o ruído de leitura consideravelmente, e temos lido em entrevistas de Sigma que o "nativo" ISO agora é 200, onde ele costumava ser 100.
Kendall Helmstetter Gelner
Hummm. As patentes são entorpecedoras de ler, pois são documentos legais, mas, rapidamente, o que você vincula parece estar preocupado com um meio mais eficiente de conectar o sensor para reduzir o ruído de leitura, e não os problemas que eu descrevo.
Por favor, leia meu perfil
Os sensores azuis extras mudam totalmente tudo o que você estava falando. Lembre-se de que hoje os sensores Foveon, como eles já fazem um excelente trabalho, renderizam cores no uso no mundo real.
Kendall Helmstetter Gelner
1

A maior razão pela qual "ninguém" usa o Foveon, acho, tem pouco a ver com o Foveon e muito a ver com o Sigma. Se a Canon ou a Sony tivessem comprado a tecnologia em vez da Sigma, já seria popular agora, a idéia básica é boa. A Sigma é uma jogadora de bit neste campo, pequena demais para fazer tudo sozinha, e as câmeras Sigma são algo de um gosto adquirido.

Staale S
fonte
1
Está bem então; por que a Canon ou a Nikon não pularam nela então? Tenho certeza de que foi lançado para eles; eles devem ter tido algum problema com ele, a fim de rejeitá-la ...
Billy ONeal
Isso é verdade, mas uma parte da questão principal é por que um fabricante de câmeras maior não é e nem tentou usar a tecnologia Foveon em uma câmera.
Kendall Helmstetter Gelner
Eu diria que o motivo é uma base de investimento. Outros fabricantes de sensores possuem uma extensa base existente de design, infraestrutura, fabricação e suporte para sensores do tipo bayer. Pode custar centenas de milhões até bilhões para investir em novos projetos e manufaturas de CMOS. Apesar da admirável dedicação de Kendall à Foveon, as diferenças entre as duas tecnologias não são tão grandes quanto costumam ser. A Canon e a Sony (como a Nikon atualmente usa sensores da Sony) ainda têm poucas razões para mudar.
jrista
0

O sensor está bom ... ou pelo menos estava na versão Merrill de 45Mp. Com a versão posterior do Quattro, a Sigma abandonou a abordagem "pura" de capturar três cores em cada local para um compromisso, com menos sensores nas camadas inferiores.

Mas o sensor não é o problema. Qualquer pessoa que o utilize sabe que é excelente em ISO baixo, mas é inferior aos sensores Bayer com resolução REAL comparável em ISO alto.

O verdadeiro problema é que as câmeras Sigma são frustrantemente lentas e inconvenientes de usar, principalmente por causa dos tempos de gravação absurdamente lentos. Nos primeiros dias de câmeras digitais acessíveis, teríamos ficado encantados com o SD1, mas depois que você se acostumou com a velocidade de uma boa DSLR da Nikon ou Canon, é difícil voltar a esperar dois minutos por uma explosão de 7 fotos para gravar no cartão e, até que isso termine, você não poderá verificar suas exposições e não usará totalmente os controles da câmera.

Além disso, os fabricantes de câmeras continuam obtendo cada vez mais desempenho da tecnologia Bayer. Isso me lembra o Porsche 911. O motor está no lugar errado, mas com uma engenharia inteligente suficiente, o carro pode ser projetado para lidar com muitas máquinas dianteiras ou de motores médios mais equilibradas.

KTR
fonte