Raciocínio intuitivo por trás de estimadores tendenciosos de máxima verossimilhança

25

Eu tenho uma confusão sobre estimadores tendenciosos de máxima verossimilhança (ML). A matemática de todo o conceito é bastante clara para mim, mas não consigo descobrir o raciocínio intuitivo por trás dele.

Dado um determinado conjunto de dados que possui amostras de uma distribuição, que é uma função de um parâmetro que queremos estimar, o estimador de ML resulta no valor do parâmetro com maior probabilidade de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que: como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?

ssah
fonte
Possível duplicado de Probabilidade Máxima Estimação (MLE) em termos leigos
b Kjetil Halvorsen
Acho que o foco no viés aqui pode distinguir essa pergunta da duplicata proposta, embora elas estejam certamente muito relacionadas.
Silverfish

Respostas:

14

o estimador de ML resulta no valor do parâmetro com maior probabilidade de ocorrer no conjunto de dados.

Dadas as suposições, o estimador de ML é o valor do parâmetro que tem a melhor chance de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que "como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?"

Viés é sobre as expectativas das distribuições de amostragem. "O mais provável é produzir os dados" não se refere às expectativas de distribuição de amostras. Por que eles deveriam ir juntos?

Qual é a base sobre a qual é surpreendente que eles não correspondam necessariamente?

Eu sugiro que você considere alguns casos simples de MLE e pondere como a diferença surge nesses casos específicos.

Como exemplo, considere observações sobre um uniforme em . A maior observação é (necessariamente) não maior que o parâmetro, portanto, o parâmetro só pode assumir valores pelo menos tão grandes quanto a maior observação.(0,θ)

Quando você considera a probabilidade de , é (obviamente) maior quanto mais próximo da observação maior. Portanto, é maximizado na maior observação; essa é claramente a estimativa para que maximiza a chance de obter a amostra que você obteve:θθθ

insira a descrição da imagem aqui

Mas, por outro lado, deve ser tendencioso, já que a maior observação é obviamente (com probabilidade 1) menor que o valor real de ; qualquer outra estimativa de não descartada pela própria amostra deve ser maior que ela e deve (claramente nesse caso) ser menos provável de produzir a amostra.θθ

A expectativa da maior observação de um é ; portanto, a maneira usual de desacreditar é usar como estimador de : , onde é a maior observação.U(0,θ)nn+1θθ^=n+1nX(n)X(n)

Isso está à direita do MLE e, portanto, tem uma menor probabilidade.

Glen_b -Reinstate Monica
fonte
obrigado pela sua resposta. Sobre a primeira parte, eu me expressei incorretamente. Eu basicamente quis dizer o que você disse. Com base na sua resposta à segunda parte, posso concluir que, dado outro conjunto de dados extraídos da mesma distribuição, o estimador de ML resultará em um viés diferente? Desde que você diz que o estimador de ML é aquele que "provavelmente" produz os dados. Se alterarmos os dados, algum outro estimador provavelmente os produzirá. Isso está correto?
Ssah # 4/14
O estimador não mudará se a forma da distribuição da população não mudar. Alguma outra estimativa será produzida com uma amostra diferente e a quantidade pela qual ela é tendenciosa geralmente será diferente - a tendência geralmente está relacionada ao tamanho da amostra, mesmo que a população seja a mesma. ... (ctd)
Glen_b -Replica Monica
(ctd) ... mnθ
Bom uso do exemplo canônico para ver a diferença entre estimadores imparciais e ML.
GTC
6

βMeuE não é o valor mais provável de . O valor mais provável é próprio . maximiza a probabilidade de extrair a amostra que realmente obtivemos.βββMeuE

NN-1 1

Dimitriy V. Masterov
fonte
Desculpe pelo erro na primeira parte. Eu editei e consertei. Mas sobre o que você disse sobre o MLE, por que seria tendencioso em primeiro lugar no caso não assintótico?
ssaH
2
"Melhor" depende do que você olha; A correção de Bessel a torna imparcial, mas a imparcialidade não é, por si só, automaticamente "melhor" (o MSE é pior, por exemplo; por que devo preferir o imparcialidade do que o MSE menor?). Pode-se argumentar que a imparcialidade é melhor, ceteris paribus , mas, infelizmente, o ceteris não será paribus .
Glen_b -Reinstate Monica
Meu entendimento era que o estimador imparcial pode ser mostrado como melhor imparcial através do relacionamento entre o MLE e o limite inferior de Cramer-Rao.
Dimitriy V. Masterov
@ssah Disseram-me que é porque estamos usando a média da amostra em vez da média verdadeira na fórmula. Para ser sincero, nunca achei essa explicação particularmente intuitiva, porque se o estimador MLE da média é imparcial, por que isso deveria dar errado? Eu costumo colocar minhas dúvidas em uma simulação.
Dimitriy V. Masterov
5

Aqui está a minha intuição.

Viés é uma medida de precisão , mas também há uma noção de precisão .

insira a descrição da imagem aqui

Em um mundo ideal, obteríamos a estimativa, que é precisa e exata, ou seja, sempre atinge o alvo. Infelizmente, em nosso mundo imperfeito, precisamos equilibrar exatidão e precisão. Às vezes, podemos sentir que poderíamos dar um pouco de precisão para obter mais precisão: trocamos o tempo todo. Portanto, o fato de um estimador ser tendencioso não significa que é ruim: pode ser que seja mais preciso.

Aksakal
fonte