Técnicas de segmentação de imagem mais comuns nos dias modernos

Eu estava lendo algumas técnicas de segmentação de imagens e estava pensando nos algoritmos modernos de segmentação de ponta.

Quais técnicas de segmentação atuais são de 'leitura obrigatória', ou seja, atualmente mais comumente usadas na comunidade? Com quais técnicas você entrou em contato e achou mais eficaz e útil (e para qual aplicativo)?

Não conheço muitas técnicas de segmentação, mas tenho lidado com estruturas que oferecem uma "escolha" de peças de segmentação que podem ser examinadas mais detalhadamente para produzir uma segmentação satisfatória.

Espero que alguém possa escrever sobre algum método diferente de segmentação de ponta que eu não conheço muito.

Uma pequena introdução sobre por que é bom ter opções, ou níveis, de segmentação para uma imagem diferente: a segmentação é um problema mal definido . A verdade básica não existe: os resultados desejados sempre dependem dos requisitos e especificações do usuário. Uma bela citação:

Mesmo para uma imagem fixa, pode haver mais de uma "melhor" segmentação porque os critérios que definem a qualidade de uma segmentação dependem da aplicação. Isso nos motivou a concentrar nossa pesquisa nas técnicas de particionamento de imagens, fornecendo "peças de quebra-cabeça" que podem ser usadas (...) para gerar uma segmentação que satisfaça os requisitos específicos do usuário

( P. Soille: conectividade restrita para particionamento e simplificação hierárquica de imagens (2008) )

Existem estruturas hierárquicas , decomposições hierárquicas de imagens que propõem partições de imagens com complexidades variadas. Essas estruturas são mais simplesmente representadas como estruturas em árvore, em que cada nó representa uma região na imagem. A ideia com as estruturas:

• as folhas da estrutura são regiões de uma partição fina ou sobre-segmentação de uma imagem (por exemplo, pixels, zonas planas - regiões conectadas da mesma intensidade, bacia hidrográfica )
• os links na árvore representam a fusão ou união de regiões (vizinhas) e formam uma região mais complexa e são construídos da maneira mais provável de produzir regiões correspondentes a objetos (espero :))
• a complexidade das regiões aumenta ao longo de cada ramo, dos nós em direção à raiz da árvore
• todo nível da árvore (também todo corte) é uma partição / segmentação de uma imagem (mais grossa quanto mais próxima da raiz)
• a raiz da árvore cobre todo o domínio da imagem

A segmentação consiste em examinar as regiões e suas uniões propostas, para determinar as regiões na árvore ou o corte da árvore correspondente à precisão requerida , ou algumas propriedades conhecidas sobre o objeto de interesse ou outras especificações predefinidas do usuário.

As árvores (ou seja, decomposições hierárquicas de imagens) com essas propriedades são:

• $\alpha$
• $(\omega)$
• Árvores de partição binária (destinadas à segmentação e detecção de objetos )

Além dos links para os artigos já fornecidos, alguns artigos atuais mais específicos e menos específicos sobre esses tipos de técnicas de segmentação:

• Cousty, J., Najman, L .: Algoritmo Incremental para Florestas Mistas Mínimas Hierárquicas e Saliência de Cortes de Bacias Hidrográficas (2011)
• Soille, P., Grazzini, J .: conectividade restrita e regiões de transição (2009)

(mais prático):

• Serna, A., Marcotegui, B .: Reconstrução controlada por atributos e morfologia matemática adaptativa (2013)
• Merciol, F., Lefèvre, S .: Segmentação rápida de imagens e vídeos com base na representação multiescalar de árvores alfa (2012)

Como um adendo à resposta de Penelope , duas famílias populares (e modernas) de algoritmos.

Superpixels

Uma família muito popular de algoritmos chamada Superpixels está muito na moda agora (existem até algumas sessões de Superpixel em conferências de CV). Os superpixels são muito parecidos com a super segmentação (como o que a bacia hidrográfica oferece), então é necessário algum pós-processamento.

Os superpixels podem ser vistos como pequenas regiões de imagens homogêneas . A distância entre os pixels é avaliada como na filtragem bilateral, ou seja, é uma mistura entre a distância espacial e a semelhança visual que chega a 0 quando estão próximas e semelhantes e a algum valor maior caso contrário.
Em seguida, os métodos de superpixels tentam vários critérios para formar pequenas regiões homogêneas com relação a essa medida. Existem muitos deles (com base em gráficos, modo de busca / clustering ...), então acho que é melhor encaminhá-lo para este relatório técnico .

(editar :) Caso alguém esteja procurando um trabalho publicado por pares, este artigo é dos mesmos autores e cobre o mesmo material que o relatório técnico: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: Superpixels SLIC em comparação com os métodos de superpixel mais avançados

Observe como escrevi a primeira versão da resposta que visualmente os resultados são muito semelhantes ao que a super segmentação de bacias hidrográficas fornece a você. Isso é confirmado pelos autores do relatório técnico, que incluem bacias hidrográficas na parte do trabalho relacionada. Portanto, você também precisa fazer o mesmo pós-processamento: embora os superpixels possam ser recursos úteis para usar em vez de pixels, eles ainda precisam ser agrupados para formar regiões de nível superior, se você precisar rastrear / detectar objetos.

Métodos de segmentação baseados em gráficos

Outra família popular de algoritmos vem da análise da relação de pixels, ou seja, como os pixels são próximos em sua aparência. Isso gera uma família de métodos de segmentação baseados na teoria dos grafos, como o corte normalizado (J. Shi, J. Malik: cortes normalizados e segmentação de imagens ) .

Aqui está a intuição para essa abordagem: suponha que seus pixels agora sejam pontos (vértices) de um gráfico de alta dimensão.
No gráfico, dois vértices podem ser conectados por uma aresta , cujo peso é inversamente proporcional a alguma distância entre os vértices. Normalmente, a função de peso será recíproca de uma mistura entre a distância espacial e a semelhança visual 8 como na filtragem bilateral).
Então, dado esse gráfico, os algoritmos de segmentação podem procurar os melhores grupos de vértices, ou seja, grupos de vértices que possuem uma pequena distância intra-grupo e uma grande distância extra-grupo .

Na abordagem de corte normalizado, são tomados alguns cuidados adicionais para evitar viés introduzido pelos diferentes tamanhos populacionais dos clusters. Além disso, a exploração de gráficos pode ser evitada computando o SVD da matriz de pesos, também conhecida como matriz de conectividade na teoria dos grafos.

Eu acho que, para uma visão global dos algoritmos de última geração para segmentação, é necessário procurar as pesquisas mais recentes. Uma boa visão global com desafios é apresentada no livro de Szeliski .