Mudar para 16 ou 32 bits reduzirá de fato o pentear (ou posterização, quantização como você chama) após várias operações de edição.
Toda vez que você usar uma operação multiplicativa (como níveis, ajustes de contraste, curvas, equilíbrio de cores etc. etc.), provavelmente terá valores que não são números inteiros. Aplique uma longa sequência dessas operações e você compõe os erros até começar a ver uma degradação visível na qualidade da imagem.
Por exemplo, se você aplicar um ajuste de níveis e reduzir o nível 255 para 127, efetivamente metade do valor do brilho de cada pixel. Então 133 se torna 67 (na verdade é 66,5, mas 8 bits podem armazenar apenas 66 ou 67). Agora, mais tarde, você aplica um ajuste de níveis que duplica o valor de brilho de cada pixel, 67 se torna 134 - um erro de 1. Você perdeu informações. Após os dois ajustes, só existem 128 valores possíveis de brilho na imagem em vez de 256 ! Se você olhar para o histograma, verá intervalos para cada número ímpar e o gráfico será semelhante a um pente (daí o termo pentear).
Se você converter sua imagem para 16 bits, preenchendo zeros à direita, 133 se tornará 34048. Divida por 2 e você obtém 17024, multiplique por 2 e você obtém 34048, que foi convertido novamente em 8 bits (movendo para a direita) e você obtenha 133! Nenhuma perda de precisão ocorreu.
Ao realizar suas operações em um espaço de precisão mais alta, você efetivamente armazena frações, que retêm mais informações e são arredondadas apenas uma vez quando você terminar de manipular a imagem (como a maioria dos dispositivos de saída ainda suporta apenas 8 bits por canal).
Se você capturar uma imagem de 8 bits e aplicar apenas uma operação e converter novamente em 8 bits, não verá nenhum benefício; no entanto, após várias operações, verá.
aqui estão alguns exemplos:
Imagem original de 8 bits por canal
Aqui está depois que eu reduzi os níveis para 13 e depois para 255. A posterização é visível no céu, pois perdemos os valores intermediários. Isso é claramente visível no histograma, que apresenta apenas alguns picos.
Aqui, eu utilizo a imagem original, convertida em 16 bits e, em seguida, reduzi os níveis para 2 e para trás (dividindo efetivamente por 128). Isso teria destruído completamente a imagem de 8 bits (seria reduzida de 16 milhões para cerca de 27 cores!), No entanto, a manipulação não é visível na imagem e apenas detectável pelo histograma.
Eu edito todas as minhas imagens no modo de 16 bits, oferecendo uma proteção muito boa contra erros de arredondamento. Provavelmente, 32 bits é um exagero, você precisaria de um grande número de operações para ver o benefício da precisão extra.