Modelos generativos versus discriminativos (no contexto bayesiano)

Quais são as diferenças entre os modelos generativo e discriminativo (discriminante) (no contexto da aprendizagem e inferência bayesiana)?

e o que diz respeito à previsão, teoria da decisão ou aprendizado não supervisionado?

Ambos são usados ​​no aprendizado supervisionado, no qual você deseja aprender uma regra que mapeia a entrada x para a saída y, dados vários exemplos de treinamento no formato . Um modelo generativo (por exemplo, Bayes ingênuo) modela explicitamente a distribuição de probabilidade conjunta p ( x , y ) e, em seguida, usa a regra de Bayes para calcular p ( y | x ) . Por outro lado, um modelo discriminativo (por exemplo, regressão logística) modela diretamente p ( y | x ) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

$(y)$$p(x|y)$

Pode haver casos em que um modelo é melhor que o outro (por exemplo, modelos discriminativos costumam se sair melhor se você tiver muitos dados; modelos generativos podem ser melhores se você tiver alguns dados extras não rotulados). De fato, também existem modelos hybird que tentam trazer o melhor dos dois mundos. Veja este documento para um exemplo: Híbridos de princípios de modelos generativos e discriminativos

Uma adição à resposta acima:

Como os discriminantes cuidam apenas de P (Y | X), enquanto os generativos cuidam de P (X, Y) e P (X) ao mesmo tempo, para prever bem P (Y | X), o modelo generativo tem menos grau de liberdade no modelo comparado ao modelo discriminante. Portanto, o modelo generativo é mais robusto , menos propenso a sobreajuste, enquanto o discriminante é o contrário.

Isso explica a resposta acima

Pode haver casos em que um modelo é melhor que o outro (por exemplo, modelos discriminativos costumam se sair melhor se você tiver muitos dados; modelos generativos podem ser melhores se você tiver alguns dados extras não rotulados).