O que exatamente é um modelo bayesiano?

34

Posso chamar um modelo em que o Teorema de Bayes é usado como "modelo bayesiano"? Receio que essa definição possa ser muito ampla.

Então, o que exatamente é um modelo bayesiano?

machine-learning bayesian Sibbs Gambling
fonte
9
Um modelo bayesiano é um modelo estatístico feito do par anterior x probabilidade = posterior x marginal. O teorema de Bayes é um pouco secundário ao conceito de prior.
Xi'an

Respostas:

18

Em essência, aquele em que a inferência é baseada no uso do teorema de Bayes para obter uma distribuição posterior para uma quantidade ou quantidades de interesse de algum modelo (como valores de parâmetros) com base em alguma distribuição anterior para os parâmetros desconhecidos relevantes e a probabilidade do modelo.

ou seja, a partir de um modelo distributivo de alguma forma, e um anterior , alguém pode tentar obter o posterior .p ( θ ) p ( θ | X )f(XEu|θ)p(θ)p(θ|X)

Um exemplo simples de um modelo bayesiano é discutido nesta questão e nos comentários dessa regressão linear bayesiana, discutida em mais detalhes na Wikipedia aqui . Pesquisas iniciam discussões de vários modelos bayesianos aqui.

Mas há outras coisas que alguém poderia tentar fazer com uma análise bayesiana, além de apenas se ajustar a um modelo - veja, por exemplo, a teoria da decisão bayesiana.

Glen_b -Reinstate Monica
fonte
Na regressão linear, aqui é igual ao vetor ? se não, o que é? [ β 0 , p 1 , . . . , β n ]θ[β0 0,β1,...,βn]
BCLC
1
@BCLC Geralmente, também inclui . σ
Glen_b -Reinstala Monica
1
@BCLC Você parece estar conflitando com inferência freqüentista e bayesiana. A inferência bayesiana se concentra nas quantidades em que você estiver interessado. Se você estiver interessado em parâmetros (por exemplo, inferência sobre coeficientes específicos), a idéia seria buscar distribuições posteriores [parâmetros | dados]. Se você estiver interessado na função média ( ), procurar uma distribuição posterior para isso (que é obviamente uma função da distribuição (multivariada) de ). Você pode usar o OLS em sua estimativa, mas os parâmetros do posterior serão alterados pelo anterior ...βμY|Xβ
Glen_b -Reinstate Monica 2/15
1
... veja a página da wikipedia sobre regressão bayesiana e algumas das discussões aqui no CV
Glen_b -Reinstate Monica
1
Às vezes, esse cálculo surge (se você o chamou ou ), por vários motivos. Meu comentário anterior não está de forma alguma em conflito com esse cálculo. (ou equivalentemente ou ) é um parâmetro e você deve lidar com ele juntamente com os outros parâmetros. No entanto, embora seja raro você saber ; por exemplo, se você estiver fazendo amostragem de Gibbs, o condicional seria relevante. Se você quiser apenas inferência em , integra (ou etc) fora de vez de condicionar em . ϕ σ σ 2 ϕ σ β σ σ 2 θ | y σσ2ϕσσ2ϕσβσσ2θ|yσ
Glen_b -Reinstala Monica
11

Um modelo bayesiano é apenas um modelo que extrai suas inferências da distribuição posterior, ou seja, utiliza uma distribuição anterior e uma probabilidade relacionada ao teorema de Bayes.

Sycorax diz restabelecer Monica
fonte
7

Posso chamar um modelo em que o Teorema de Bayes é usado como "modelo bayesiano"?

Não

Receio que essa definição possa ser muito ampla.

Você está certo. O teorema de Bayes é uma relação legítima entre probabilidades de eventos marginais e probabilidades condicionais. Isso vale independentemente da sua interpretação da probabilidade.

Então, o que exatamente é um modelo bayesiano?

Se você estiver usando conceitos anteriores e posteriores em qualquer parte de sua exposição ou interpretação, é provável que esteja usando o modelo bayesiano, mas essa não é a regra absoluta, porque esses conceitos também são usados ​​em abordagens não bayesianas.

Em um sentido mais amplo, você deve subscrever a interpretação bayesiana da probabilidade como uma crença subjetiva. Este pequeno teorema de Bayes foi estendido e estendido por algumas pessoas para toda essa visão de mundo e até, devo dizer, filosofia . Se você pertence a este campo, então você é bayesiano. Bayes não tinha ideia de que isso iria acontecer com o seu teorema. Ele ficaria horrorizado, eu pensa.

Aksakal
fonte
4
Essa parece ser a primeira resposta para introduzir o ponto importante levantado em sua primeira linha: o mero uso do teorema de Bayes não faz de algo um modelo bayesiano. Gostaria de encorajá-lo a ir mais longe com esse pensamento. Você parece recuar onde diz que "usar conceitos anteriores e posteriores" torna um modelo bayesiano. Isso não significa simplesmente aplicar o Teorema de Bayes novamente? Caso contrário, você poderia explicar o que você entende por "conceitos" nesta passagem? Afinal, as estatísticas clássicas (não bayesianas) usam anteriores e posteriores para provar a admissibilidade de muitos procedimentos.
whuber
@whuber, era mais como uma simples regra de ouro. Sempre que vejo "prior" no artigo, acaba sendo ou afirmando ser do ponto de vista bayesiano. Vou esclarecer meu ponto.
Aksakal
5

Um modelo estatístico pode ser visto como um procedimento / história que descreve como alguns dados surgiram. Um modelo bayesiano é um modelo estatístico em que você usa a probabilidade para representar toda a incerteza dentro do modelo, tanto a incerteza em relação à saída, mas também a incerteza em relação à entrada (também conhecida como parâmetros) para o modelo. A coisa toda anterior / posterior / teorema de Bayes segue nisto, mas, na minha opinião, usar a probabilidade para tudo é o que a torna bayesiana (e, de fato, uma palavra melhor talvez seja apenas algo como modelo probabilístico ).

Isso significa que a maioria dos outros modelos estatísticos pode ser "lançada" em um modelo bayesiano, modificando-os para usar a probabilidade em todos os lugares. Isso é especialmente verdadeiro para modelos que dependem da máxima verossimilhança, pois o ajuste do modelo de máxima verossimilhança é um subconjunto estrito do ajuste do modelo bayesiano.

Rasmus Bååth
fonte
O MLE é usado e foi desenvolvido fora do modelo bayesiano; portanto, não está muito claro o que você quer dizer com "subconjunto estrito do ajuste do modelo bayesiano".
Aksakal
Do ponto de vista bayesiano, o MLE é o que você obtém quando assume pressupostos simples, ajusta-se ao modelo e usa a configuração de parâmetro mais provável como uma estimativa pontual. Se este é um caso especial da "filosofia da estatística" bayesiana, deixo que outros discutam, mas certamente é um caso especial de adaptação do modelo bayesiano.
Rasmus Bååth
O problema com essa afirmação é que deixa uma impressão de que você precisa se inscrever em algum tipo de pensamento bayesiano para usar o MLE.
Aksakal
1
Não sei bem o que você quer dizer. Na IMO, você não precisa se inscrever no pensamento bayesiano ao usar estatísticas bayesianas mais do que precisa se inscrever no pensamento matricial ao fazer álgebra linear ou pensamento gaussiano ao usar uma distribuição normal. Também não estou dizendo que o MLE deve ser interpretado como um subconjunto do modelo Bayesiano (mesmo que pareça bastante natural para mim).
Rasmus Bååth
3

Sua pergunta é mais do lado semântico: quando posso chamar um modelo de "bayesiano"?

Tirando conclusões deste excelente artigo:

Fienberg, SE (2006). Quando a inferência bayesiana se tornou "bayesiana"? Análise Bayesiana, 1 (1): 1-40.

existem 2 respostas:

  • Seu modelo é o primeiro bayesiano se ele usar a regra de Bayes (esse é o "algoritmo").
  • De maneira mais ampla, se você inferir causas (ocultas) de um modelo generativo do seu sistema, então você é bayesiano (essa é a "função").

Surpreendentemente, a terminologia dos "modelos bayesianos" usada em todo o campo só se estabeleceu por volta dos anos 60. Há muito o que aprender sobre aprendizado de máquina apenas olhando sua história!

meduz
fonte
Você parece mencionar apenas uma das "duas respostas". Talvez escreva algo sobre os dois?
Tim
obrigado pela nota, editei minha resposta para separar as duas partes da minha frase.
meduz