Quais são os domínios em que os SVMs ainda são avançados?

Parece que redes neurais profundas e outros modelos baseados em redes neurais estão dominando muitas áreas atuais, como visão computacional, classificação de objetos, aprendizado por reforço etc.

Existem domínios em que os SVMs (ou outros modelos) ainda estão produzindo resultados de ponta?

O estado da arte é um obstáculo difícil, porque não está claro como deve ser medido. Um critério alternativo, semelhante ao estado da arte, é perguntar quando você prefere tentar um SVM.

Os SVMs têm várias vantagens:

1. Por meio do truque do kernel, o tempo de execução de um SVM não aumenta significativamente se você deseja aprender padrões sobre muitas combinações não lineares de recursos, em vez do conjunto de recursos original. Por outro lado, uma abordagem mais moderna como uma rede neural profunda precisará se aprofundar ou ampliar para modelar os mesmos padrões, o que aumentará o tempo de treinamento.
2. Os SVMs têm um viés inerente à escolha de hipóteses "conservadoras", com menor probabilidade de super ajuste dos dados, porque tentam encontrar hipóteses de margem máxima. Em certo sentido, eles "assam" a navalha de Occam.
3. Os SVMs possuem apenas dois hiperparâmetros (a escolha do kernel e a constante de regularização), portanto, eles são muito fáceis de ajustar para problemas específicos. Geralmente, é suficiente ajustá-los executando uma pesquisa simples na grade através do espaço de parâmetros, o que pode ser feito automaticamente.

Os SVMs também têm algumas desvantagens:

1. $O(n^3)$$O(w*n*e)$$n$$e$$w$$w, e << n$
2. $O(n^2)$

Todos esses fatores apontam que os SVMs são relevantes para exatamente um caso de uso: pequenos conjuntos de dados nos quais o padrão de destino é considerado, a priori, uma função regular, mas altamente não linear, de um grande número de recursos. Esse caso de uso realmente surge com bastante frequência. Um exemplo de aplicação recente, em que eu achei que os SVMs eram uma abordagem natural, estava construindo modelos preditivos para uma função de destino conhecida por resultar de interações entre pares de recursos (especificamente, comunicações entre pares de agentes). Um SVM com um núcleo quadrático poderia, portanto, aprender suposições conservadoras, razoáveis ​​e eficientes.

¹ Existem algoritmos aproximados que resolverão o SVM mais rapidamente que isso, conforme observado nas outras respostas.

O Deep Learning e as Redes Neurais estão recebendo a maior parte do foco devido aos recentes avanços no campo, e a maioria dos especialistas acredita que esse é o futuro da solução de problemas de aprendizado de máquina.

Mas não se engane, os modelos clássicos ainda produzem resultados excepcionais e, em certos problemas, podem produzir melhores resultados do que o aprendizado profundo.

A regressão linear ainda é de longe o algoritmo de aprendizado de máquina mais usado no mundo.

É difícil identificar um domínio específico em que os modelos clássicos sempre tenham melhor desempenho, pois a precisão é muito determinada na forma e na qualidade dos dados de entrada.

Portanto, a seleção de algoritmos e modelos é sempre uma troca. É uma afirmação um pouco precisa fazer com que os modelos clássicos ainda tenham um desempenho melhor com conjuntos de dados menores. No entanto, muitas pesquisas estão sendo direcionadas para melhorar o desempenho do modelo de aprendizado profundo com menos dados.

A maioria dos modelos clássicos requer menos recursos computacionais; portanto, se seu objetivo é a velocidade, é muito melhor.

Além disso, os modelos clássicos são mais fáceis de implementar e visualizar, o que pode ser outro indicador de desempenho, mas isso depende de seus objetivos.

Se você possui recursos ilimitados, um conjunto de dados observáveis ​​em massa, devidamente rotulado e implementado corretamente no domínio do problema, o aprendizado profundo provavelmente fornecerá melhores resultados na maioria dos casos.

Mas, na minha experiência, as condições do mundo real nunca são tão perfeitas

Concordo totalmente com a resposta de @ John. Tentará complementar isso com mais alguns pontos.

Algumas vantagens dos SVMs:

a) SVM é definido por um problema de otimização convexo para o qual existem métodos eficientes de solução, como o SMO .

b) Eficaz em espaços de alta dimensão e também nos casos em que o número de dimensões é maior que o número de amostras.

c) Utiliza um subconjunto de pontos de treinamento na função de decisão (denominada vetores de suporte), portanto também é eficiente em termos de memória.

d) Diferentes funções do Kernel podem ser especificadas para a função de decisão. . Na sua forma mais simples, o truque do kernel significa transformar dados em outra dimensão que possui uma clara margem divisória entre as classes de dados.

As desvantagens das máquinas de vetores de suporte incluem:

a) Se o número de recursos for muito maior que o número de amostras, é crucial evitar ajustes excessivos na escolha das funções do Kernel e do termo de regularização. Os modelos de kernel podem ser bastante sensíveis ao ajuste excessivo do critério de seleção de modelo

b) SVMs não fornecem diretamente estimativas de probabilidade. Em muitos problemas de classificação, você realmente deseja a probabilidade de pertencer à classe, portanto, seria melhor usar um método como Regressão Logística, em vez de pós-processar a saída do SVM para obter probabilidades.

Para conjuntos de dados de dados tabulares de baixa dimensão. Os DNN não são eficientes na entrada de baixa dimensão devido à enorme superparametrização. Portanto, mesmo que o conjunto de dados seja enorme, mas cada amostra é de baixa dimensão, o SVM superaria o DNN.

De maneira mais geral, se os dados são tabulares e a correlação entre os campos da amostra é fraca e barulhenta, o SVM ainda pode superar o DNN mesmo para dados de alta dimensão, mas isso depende de dados específicos.

Infelizmente, não consigo me lembrar de nenhum artigo específico sobre o assunto; portanto, é principalmente um raciocínio de senso comum, você não precisa confiar nele.