Existe algum domínio em que as redes Bayesian superam as redes neurais?

48

As redes neurais obtêm os melhores resultados nas tarefas de visão computacional (consulte MNIST , ILSVRC , Kaggle Galaxy Challenge ). Eles parecem superar todas as outras abordagens no Computer Vision. Mas também existem outras tarefas:

Não tenho muita certeza sobre o ASR (reconhecimento automático de fala) e a tradução automática, mas acho que também ouvi falar que redes neurais (recorrentes) (começam a) superam outras abordagens.

Atualmente, estou aprendendo sobre redes bayesianas e me pergunto em quais casos esses modelos geralmente são aplicados. Então, minha pergunta é:

Existe algum desafio / competição (Kaggle), onde o estado da arte são as Redes Bayesianas ou pelo menos modelos muito semelhantes?

(Nota: também vi árvores de decisão , 2 , 3 , 4 , 5 , 6 , 7 vencerem em vários desafios recentes do Kaggle)

Martin Thoma
fonte
Não é uma questão de domínio. É uma questão de quantos dados você tem, quão bons são seus anteriores e se deseja posteriores.
Emre
11
@Emre Qual é uma questão de domínio ... (e, é claro, de dinheiro quando você tem a possibilidade de não apenas usar conjuntos de dados existentes, mas também pode contratar pessoas para criar / rotular novos dados).
Martin Thoma
Seria uma questão de domínio se houvesse alguma propriedade dos dados, alguma estrutura, que um algoritmo se aproveitasse melhor que o outro, mas não é isso que estou sugerindo.
Emre
2
Portanto, a resposta para sua pergunta é: Não . Direito? Porque todas as respostas parecem apontar as vantagens da Bayesian Networks sobre outros modelos preditivos, mas eu não vi nenhuma competição do Kaggle em que eles realmente superaram outros modelos. Alguém pode fornecer um? Porque todas as razões e possíveis vantagens, por exemplo, a falta de dados suficientes e a escolha de bons antecedentes, dadas nas respostas, parecem ótimas em teoria, mas ainda não respondem à pergunta fornecendo, pelo menos, um exemplo.
MNLR
Uma coisa que as redes bayesianas podem ser úteis para tarefas / aprendizado não supervisionados, onde a quantidade de dados é relativamente limitada. As redes neurais somente superam outras quando há uma quantidade enorme de dados a serem treinados.
Xji

Respostas:

31

Uma das áreas em que as abordagens bayesianas são frequentemente usadas é onde é necessário interpretar o sistema de previsão. Você não quer dar aos médicos uma rede neural e dizer que ela é 95% precisa. Você prefere explicar as suposições que seu método faz, bem como o processo de decisão que o método utiliza.

Área semelhante é quando você tem um forte conhecimento de domínio anterior e deseja usá-lo no sistema.

MLgeek
fonte
11
Veja também: Os Mythos de Modelo Interpretabilidade
Martin Thoma
Veja também: lime
Martin Thoma
18

Redes bayesianas e redes neurais não são exclusivas uma da outra. De fato, redes bayesianas são apenas outro termo para "modelo gráfico direcionado". Eles podem ser muito úteis no projeto de redes neurais de funções objetivas. Yann Lecun apontou isso aqui: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Um exemplo.

p(x)=zp(x|z)p(z)dz.
p(x|z)q(z|x)p(z|x)
bayer
fonte
As duas partes podem ser treinadas em conjunto?
Nn0p 28/07
16

Excelentes respostas já.

Um domínio em que posso pensar e em que estou trabalhando extensivamente é o domínio de análise de clientes .

Eu tenho que entender e prever os movimentos e motivações dos clientes, a fim de informar e avisar o suporte ao cliente, o marketing e também as equipes de crescimento.

Então, aqui, as redes neurais fazem um bom trabalho na previsão de rotatividade, etc. Mas, eu encontrei e prefiro o estilo de redes bayesianas, e aqui estão as razões para preferir:

  1. Os clientes sempre têm um padrão. Eles sempre têm uma razão para agir. E esse motivo seria algo que minha equipe fez por eles ou eles mesmos aprenderam. Portanto, tudo tem um precedente aqui e, de fato, a razão é muito importante, pois alimenta a maioria das decisões tomadas pelo cliente.
  2. Cada movimento do cliente e das equipes de crescimento no funil de marketing / vendas é causa-efeito. Portanto, o conhecimento prévio é vital quando se trata de converter um lead em potencial em um cliente.

Portanto, o conceito de prior é muito importante quando se trata de análise de clientes, o que torna o conceito de redes bayesianas muito importante para esse domínio.


Aprendizagem sugerida:

Métodos Bayesianos para Redes Neurais

Redes bayesianas em análise de negócios

Dawny33
fonte
15

Às vezes, você se preocupa tanto em mudar o resultado quanto em prever o resultado.

Uma rede neural com dados de treinamento suficientes tenderá a prever melhor o resultado, mas, uma vez que você possa prever o resultado, poderá prever o efeito de fazer alterações nos recursos de entrada do resultado.

Um exemplo da vida real: saber que é provável que alguém tenha um ataque cardíaco é útil, mas ser capaz de dizer à pessoa que se ela parasse de fazer XX, o risco reduziria em 30% é de um benefício muito maior.

Da mesma forma, a retenção de clientes, sabendo por que os clientes param de fazer compras com você, vale tanto quanto prever os clientes que provavelmente deixarão de fazer compras com você.

Também uma Rede Bayesiana mais simples que prevê menos bem, mas leva a mais ações a serem tomadas, pode ser melhor do que uma Rede Bayesiana mais "correta".

A maior vantagem das redes bayesianas sobre as redes neurais é que elas podem ser usadas para inferência causal. Esse ramo é de fundamental importância para estatística e aprendizado de máquina, e a Judea Pearl ganhou o prêmio Turing por esta pesquisa.

Ian Ringrose
fonte
Mas redes neurais também podem ser usadas para determinar o papel e a importância de diferentes recursos, certo?
Hossein
7

As redes bayesianas podem superar as redes neurais em pequenas configurações de dados. Se as informações anteriores forem gerenciadas adequadamente por meio da estrutura de rede, anteriores e outros hiperparâmetros, elas poderão ter uma vantagem sobre as Redes Neurais. As redes neurais, especialmente aquelas com mais camadas, são muito conhecidas por consumir dados. Quase por definição muitos dados são necessários para treiná-los adequadamente.

Vladislavs Dovgalecs
fonte
4

Publiquei este link no Reddit e recebi muitos comentários. Alguns postaram suas respostas aqui, outros não. Esta resposta deve somar o post do reddit. (Eu criei o wiki da comunidade para não ganhar pontos por isso)

moose
fonte
2

As redes bayesianas são preferidas para a interpretação do genoma. Veja, por exemplo, esta dissertação que discute métodos computacionais para interpretação de genoma.

Nathaniel Hendrix
fonte
2
Por que eles são preferidos?
Ian Ringrose
2

Eu fiz um pequeno exemplo para isso uma vez. A partir disso, acho que as redes bayesianas são preferidas se você deseja capturar uma distribuição, mas seu conjunto de treinamento de entrada não cobre bem a distribuição. Nesses casos, mesmo uma rede neural que generalizou bem não seria capaz de reconstruir a distribuição.

Leela Prabhu
fonte
-3

Eu não concordo plenamente que as redes neurais se saiam bem que outros alunos. De fato, as redes neurais estão se saindo muito mal em comparação com outros métodos. Também não há metodologia, apesar de alguns conselhos sobre a escolha de parâmetros, pois isso é feito com muita frequência por acaso. Também existem alguns caras que falam aleatoriamente nos fóruns sobre como as redes neurais são tão boas, não porque elas tenham alguma evidência disso, mas porque estão atraídas pela palavra chique e zumbida `` neural ''. Eles também são muito instáveis, você tentou uma rede neural para comparar com xgboost? Eu não vou tentar nenhuma rede neural até que seja auto-consciente.

gm1
fonte
3
Isso é muito vago e conversacional para dar uma boa resposta. Algumas especificidades, fatos e edições o melhorariam.
Sean Owen
`` Fatos específicos '' devem ser especificados por pessoas que postam mensagens como essa dizendo que as redes neurais são as melhores, você não pode dizer que as redes neurais estão indo bem apenas porque parecem sofisticadas, também existem conjuntos de dados nos quais as redes neurais provavelmente o fazem ruim de tal maneira que knn estão obtendo resultados muito melhores.
Gm1
11
Embora eu não negue suas opiniões, você também não deve negar que sua resposta realmente não responde à pergunta. Portanto, considere adicioná-lo como um comentário. E, por favor, adicionar quaisquer provas concretas e teoria que suporta a sua resposta, então ele pode ser olhado, como um discurso retórico, por futuros espectadores :)
Dawny33
11
@ gm1 Acho que você me quis dizer com ",, Fatos específicos '' devem ser especificados por pessoas que postam mensagens como essa dizendo que as redes neurais são as melhores". Observe que eu não escrevi uma declaração que fosse tão geral. Escrevi que NN venceu em muitas competições / tarefas de CV. E adicionei alguns desafios nos quais as abordagens de redes neurais venceram.
Martin Thoma
Olá, é claro que existem algumas competições do Kaggle nas quais as redes neurais se saíram bem (supondo que não usassem redes neurais combinadas com outros modelos), mas essa é uma pequena proporção de todas as competições do kaggle, você poderia usar uma rede neural para ir TOP 3 no kaggle TFI? Eu acho que posso fazer tanto para o público quanto para o privado com modelo que não é linear.
Gm1