Como um anterior uniforme leva às mesmas estimativas a partir da máxima probabilidade e modo de posterior?

9

Estou estudando métodos diferentes de estimativa de pontos e leio que, ao usar estimativas de MAP vs ML, quando usamos um "anterior uniforme", as estimativas são idênticas. Alguém pode explicar o que é um prior "uniforme" e dar alguns exemplos (simples) de quando os estimadores de MAP e ML seriam os mesmos?

machine-learning probability bayesian estimation maximum-likelihood user1516425
fonte
4
@AndreSilva MAP = Máximo a posteriori - o modo da posterior
Glen_b -Reinstar Monica
Dê uma olhada aqui: math.stackexchange.com/questions/1327752/…
Royi

Respostas:

10

É uma distribuição uniforme (contínua ou discreta).

Veja também

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

e

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Se você usar um uniforme anterior em um conjunto que contenha o MLE, MAP = MLE sempre. A razão para isso é que, sob essa estrutura anterior, a distribuição posterior e a probabilidade são proporcionais.

MAPMLE
fonte
2
Esta é uma boa resposta na minha opinião. Vale a pena acrescentar que a razão pela qual a distribuição posterior e a probabilidade são proporcionais é que a própria distribuição posterior é proporcional ao produto da probabilidade e do anterior. Quando o prior assume o mesmo valor em todos os lugares, como na distribuição uniforme, a distribuição posterior é simplesmente proporcional à probabilidade.
TooTone
11
@TooTone Gostaria também de acrescentar um ponto sobre a impropriedade.
Stéphane Laurent
O uniforme anterior pode ser visto como um conjunto de usuários ou uma probabilidade igual para todas as classes que você está tentando prever. Por exemplo, se tivermos um problema de duas classes e a distribuição para exemplos positivos for 10% (ou seja, uma probabilidade anterior de 0,1), podemos definir o uniforme anterior para que os casos positivos sejam 0,5, a fim de superar o efeito de desequilíbrio do original. distribuição.
soufanom 17/07/2013
2
Em observação, sob uniforme anterior, o MAP e ML colidem apenas se o uniforme anterior estiver sobre os valores válidos do parâmetro. Ou seja, se o parâmetro for contínuo e o anterior for uniforme apenas em [0, 1], ele não será válido.
Royi
@Drazick: boa observação. Na verdade, é "pior" que isso, ou seja, o (valor do) MAP depende da escolha da medida dominante, conforme explicado neste artigo de Druihlet e Marin .
Xi'an
1

MLE é a estimativa da ocorrência de um determinado evento, dado um parâmetro, enquanto MAP é a estimativa de um parâmetro, dado um evento. Quando usamos o teorema de Bayes ainda mais ao estimar o MAP, ele se resume a que é o único termo adicional em relação ao MLE. A estimativa de média e variância do MAP será igual à estimativa de média e variância do MLE, pois Prior permanece o mesmo todas as vezes e não está mudando. Assim, ele age apenas como uma constante e, portanto, não desempenha nenhum papel em afetar o valor da média e da variância.P ( θ )P(D|θ)P(θ)P(θ)

gg1782191
fonte
(-1) A estimativa de máxima probabilidade (de um parâmetro) é uma estimativa de um parâmetro, não 'a estimativa de ocorrência de determinado evento'. O restante da resposta também é um tanto confuso / confuso, por exemplo, não está claro a que se refere a 'média e variância'.
Juho Kokkala 24/03
@ Tim, você pode fornecer uma prova (ou esboço) que mostre The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Obrigado
curious_dan
@curious_dan O teorema de Bayes é , se for uniforme, reduz-se para , então você está apenas maximizando a probabilidade; portanto, é o mesmo que o MLE. p ( θ ) ∝ 1 p ( θ | X ) ∝ p ( X | θ ) × 1p(θ|X)∝p(X|θ)p(θ)p(θ)∝1p(θ|X)∝p(X|θ)×1
Tim
obrigado, @ Tim --- Eu posso ver por que isso é verdade para o / valor máximo esperado, mas não está claro para mim a variância será o mesmo
curious_dan
@curious_dan variância de quê? Isso se aplica a qualquer parâmetro que você estimar.
Tim