Qual é a diferença na estimativa bayesiana e na estimativa de máxima verossimilhança?

Por favor, explique-me a diferença entre a estimativa bayesiana e a estimativa de máxima verossimilhança?

É uma pergunta muito ampla e minha resposta aqui começa apenas a arranhar um pouco a superfície. Usarei a regra de Bayes para explicar os conceitos.

Vamos supor que um conjunto de parâmetros de distribuição de probabilidade, , explica melhor o conjunto de dados D . Podemos desejar estimar os parâmetros θ com a ajuda da Regra de Bayes:$\theta$$D$$\theta$

As explicações a seguir:

Estimativa de máxima verossimilhança

Com o MLE, buscamos um valor de ponto para que maximize a probabilidade, p ( D | θ ) , mostrado nas equações acima. Nós podemos denotar esse valor como θ . Em MLE, θ é uma estimativa pontual, não uma variável aleatória.$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

Em outras palavras, na equação acima, MLE trata o termo como uma constante e NÃO nos permite injetar nossas crenças anteriores,p(θ), sobre os valores prováveis ​​deθnos cálculos de estimativa.$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

Estimativa Bayesiana

A estimativa bayesiana, por outro lado, calcula completamente (ou às vezes se aproxima) a distribuição posterior . A inferência bayesiana trata θ como uma variável aleatória. Na estimativa bayesiana, colocamos funções de densidade de probabilidade e obtemos funções de densidade de probabilidade, em vez de um único ponto como no MLE.$p(\theta|D)$$\theta$

De todos os valores de possibilitados pela distribuição de saída p ( θ | D ) , é nosso trabalho selecionar um valor que consideremos melhor em algum sentido. Por exemplo, podemos escolher o valor esperado de θ assumindo que sua variação seja pequena o suficiente. A variação que podemos calcular para o parâmetro θ a partir de sua distribuição posterior nos permite expressar nossa confiança em qualquer valor específico que possamos usar como estimativa. Se a variação for muito grande, podemos declarar que não existe uma boa estimativa para θ .$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

Como contrapartida, a estimativa bayesiana é complexa pelo fato de que agora temos que lidar com o denominador na regra de Bayes, ou seja, . Aqui a evidência - ou probabilidade de evidência - é representada por:$evidence$

Isso leva ao conceito de 'prioros conjugados' na estimativa bayesiana. Para uma determinada função de probabilidade, se tivermos uma escolha a respeito de como expressamos nossas crenças anteriores, devemos usar esse formulário que nos permita realizar a integração mostrada acima. A idéia de conjugados anteriores e como eles são praticamente implementados é explicada muito bem neste post pelo COOlSerdash.

Eu acho que você está falando sobre estimativa de pontos como na inferência paramétrica, para que possamos assumir um modelo de probabilidade paramétrica para um mecanismo de geração de dados, mas o valor real do parâmetro é desconhecido.

A estimativa de probabilidade máxima refere-se ao uso de um modelo de probabilidade para dados e à otimização da função de probabilidade conjunta dos dados observados em um ou mais parâmetros. Portanto, é visto que os parâmetros estimados são mais consistentes com os dados observados em relação a qualquer outro parâmetro no espaço de parâmetros. Observe que essas funções de probabilidade não são necessariamente vistas como "condicionadas" aos parâmetros, pois os parâmetros não são variáveis ​​aleatórias; portanto, é um pouco mais sofisticado conceber a probabilidade de vários resultados comparando duas parametrizações diferentes. Acontece que esta é uma abordagem filosoficamente sólida.

A estimativa bayesiana é um pouco mais geral, porque não estamos maximizando necessariamente o análogo bayesiano da probabilidade (a densidade posterior). No entanto, o tipo de estimativa análoga (ou estimativa de modo posterior) é vista como maximização da probabilidade do parâmetro posterior condicional aos dados. Geralmente, as estimativas de Bayes obtidas dessa maneira se comportam quase exatamente como as de ML. A principal diferença é que a inferência de Bayes permite que um método explícito incorpore informações anteriores.

Também 'A História Épica de Máxima Verossimilhança contribui para uma leitura esclarecedora

http://arxiv.org/pdf/0804.2996.pdf

A estimativa bayesiana é a inferência bayesiana, enquanto o MLE é um tipo de métodos de inferência freqüentista.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

A alternativa do MLE na inferência bayesiana é chamada de estimativa máxima a posteriori (MAP para abreviar) e, na verdade, o MLE é um caso especial de MAP onde o prior é uniforme, como vemos acima e como indicado na Wikipedia :

Do ponto de vista da inferência bayesiana, o MLE é um caso especial de estimativa máxima a posteriori (PAM) que assume uma distribuição prévia uniforme dos parâmetros.

Para detalhes, consulte este artigo incrível: MLE vs MAP: a conexão entre Máxima Verossimilhança e Máxima Estimação Posteriori .

E mais uma diferença é que a probabilidade máxima é propensa ao excesso de ajuste, mas se você adotar a abordagem bayesiana, o problema do excesso de ajuste pode ser evitado.