(Por que) o SOM no estilo Kohonen caiu em desuso?

33

Até onde eu sei, os SOMs no estilo Kohonen tiveram um pico em 2005 e não têm recebido tanto favor recentemente. Não encontrei nenhum documento que diga que os SOMs tenham sido incluídos por outro método ou que tenham sido equivalentes a outra coisa (em dimensões mais altas, de qualquer maneira). Mas parece que o tSNE e outros métodos ganham muito mais tinta hoje em dia, por exemplo, na Wikipedia ou no SciKit Learn, e o SOM é mencionado mais como método histórico.

(Na verdade, um artigo da Wikipedia parece indicar que os SOMs continuam a ter certas vantagens sobre os concorrentes, mas também é a entrada mais curta da lista. EDIÇÃO: Por solicitação de gung, um dos artigos em que estou pensando é: Redução não - linear de dimensão Observe que o SOM escreveu menos sobre isso do que os outros métodos. Não consigo encontrar o artigo que mencionou uma vantagem que os SOMs parecem reter sobre a maioria dos outros métodos.

Alguma ideia? Alguém mais perguntou por que os SOMs não estão sendo usados ​​e obteve referências de um tempo atrás, e eu encontrei procedimentos de conferências do SOM, mas fiquei imaginando se o aumento de SVMs ou tSNE, et al, apenas eclipsou os SOMs no aprendizado de máquinas pop.

EDIT 2: Por pura coincidência, eu estava lendo uma pesquisa de 2008 sobre redução da dimensionalidade não linear esta noite e, por exemplo, apenas menciona: Isomap (2000), incorporação localmente linear (LLE) (2000), Hessian LLE (2003), Laplacian mapas próprios (2003) e incorporação semi-definida (SDE) (2004).

Wayne
fonte
3
Você pode vincular a algum dos recursos aos quais você está se referindo? (Por exemplo, qual artigo da Wikipedia "parece indicar ..."?)
gung - Restabelece Monica
11
Eles parecem ter caído em desgraça a tal ponto que eu não sei a que SOM se refere.
Matthew Drury
5
aparentemente, mapa auto-organizado #
Christoph Hanck
O SOM é apenas uma variante do dimensionamento multidimensional (MDS), que é muito mais antiga.
Kjetil b halvorsen
@kjetilbhalvorsen: Você tem alguma referência sobre SOM e MDS? Pelo que entendi, o MDS é de natureza global (relacionado ao PCA), enquanto o SOM é de natureza local. Ou talvez eu os entenda mal.
Wayne

Respostas:

18

Eu acho que você está entendendo alguma coisa, observando a influência do que o aprendizado de máquina atualmente apresenta como os 'melhores' algoritmos para redução de dimensionalidade. Embora o t-SNE tenha mostrado sua eficácia em competições, como o Desafio Merck Viz , pessoalmente consegui implementar o SOM para extração de recursos e classificação binária. Embora certamente existam alguns que dispensam SOMs sem justificativa além da idade do algoritmo (confira esta discussão , também há vários artigos publicados nos últimos anos que implementaram SOMs e obtiveram resultados positivos (ver Mortazavi et al., 2013 ; Frenkel et al., 2013por exemplo). Uma pesquisa no Google Scholar revelará que os SOMs ainda são utilizados em vários domínios de aplicativos. Como regra geral, no entanto, o melhor algoritmo para uma tarefa específica é exatamente isso - o melhor algoritmo para uma tarefa específica. Onde uma floresta aleatória pode ter funcionado bem para uma tarefa de classificação binária específica, ela pode ter um desempenho horrível em outra. O mesmo se aplica às tarefas de cluster, regressão e otimização. Esse fenômeno está ligado ao Teorema do Almoço Gratuito , mas esse é um tópico para outra discussão. Em suma, se o SOM funcionar melhor para você em uma tarefa específica, esse é o algoritmo que você deve usar para essa tarefa, independentemente do que é popular.

Dirigo
fonte
5

Fiz pesquisas sobre a comparação de SOMs com t-SNE e mais e também propus uma melhoria no SOM que leva a um novo nível de eficiência. Confira aqui e deixe-me saber seus comentários. Gostaria de ter uma idéia do que as pessoas pensam sobre isso e se vale a pena publicar em python para as pessoas usarem.

Link do IEEE para o artigo: http://ieeexplore.ieee.org/document/6178802/

Implementação do Matlab. https://www.mathworks.com/matlabcentral/fileexchange/35538-cluster-reinforcement--cr--phase

Obrigado pelo seu feedback!

Narine Hall
fonte
4
Bem-vindo ao Cross Validated! Seria útil fazer um breve resumo de suas descobertas e as melhorias que você fez e também talvez abordar a questão mais diretamente.
Scortchi - Restabelece Monica
1

Minha visão subjetiva é que os SOMs são menos conhecidos e percebidos como menos "sexy" do que muitos outros métodos, mas ainda são altamente relevantes para certas classes de problemas. Pode ser que eles tenham uma contribuição significativa a fazer se forem mais amplamente utilizados. Eles são inestimáveis ​​nos estágios iniciais da ciência de dados exploratória por terem uma ideia do "cenário" ou da "topologia" de dados multivariados.

O desenvolvimento de bibliotecas como a Somoclu e pesquisas como a de Guénaël Cabanes (entre muitas outras) mostram que os SOMs ainda são relevantes.

Matt Wenham
fonte