Raciocínio intuitivo por trás de estimadores tendenciosos de máxima verossimilhança

Eu tenho uma confusão sobre estimadores tendenciosos de máxima verossimilhança (ML). A matemática de todo o conceito é bastante clara para mim, mas não consigo descobrir o raciocínio intuitivo por trás dele.

Dado um determinado conjunto de dados que possui amostras de uma distribuição, que é uma função de um parâmetro que queremos estimar, o estimador de ML resulta no valor do parâmetro com maior probabilidade de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que: como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?

o estimador de ML resulta no valor do parâmetro com maior probabilidade de ocorrer no conjunto de dados.

Dadas as suposições, o estimador de ML é o valor do parâmetro que tem a melhor chance de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que "como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?"

Viés é sobre as expectativas das distribuições de amostragem. "O mais provável é produzir os dados" não se refere às expectativas de distribuição de amostras. Por que eles deveriam ir juntos?

Qual é a base sobre a qual é surpreendente que eles não correspondam necessariamente?

Eu sugiro que você considere alguns casos simples de MLE e pondere como a diferença surge nesses casos específicos.

Como exemplo, considere observações sobre um uniforme em . A maior observação é (necessariamente) não maior que o parâmetro, portanto, o parâmetro só pode assumir valores pelo menos tão grandes quanto a maior observação.$(0,\theta)$

Quando você considera a probabilidade de , é (obviamente) maior quanto mais próximo da observação maior. Portanto, é maximizado na maior observação; essa é claramente a estimativa para que maximiza a chance de obter a amostra que você obteve:$\theta$$\theta$$\theta$

Mas, por outro lado, deve ser tendencioso, já que a maior observação é obviamente (com probabilidade 1) menor que o valor real de ; qualquer outra estimativa de não descartada pela própria amostra deve ser maior que ela e deve (claramente nesse caso) ser menos provável de produzir a amostra.$\theta$$\theta$

A expectativa da maior observação de um é ; portanto, a maneira usual de desacreditar é usar como estimador de : , onde é a maior observação.$U(0,\theta)$$\frac{n}{n+1}$$\theta$$\hat\theta=\frac{n+1}{n}X_{(n)}$$X_{(n)}$

Isso está à direita do MLE e, portanto, tem uma menor probabilidade.

$\beta^{MLE}$ não é o valor mais provável de . O valor mais provável é próprio . maximiza a probabilidade de extrair a amostra que realmente obtivemos.$\beta$$\beta$$\beta^{MLE}$

$\frac{N}{N-1}$

Aqui está a minha intuição.

Viés é uma medida de precisão , mas também há uma noção de precisão .

Em um mundo ideal, obteríamos a estimativa, que é precisa e exata, ou seja, sempre atinge o alvo. Infelizmente, em nosso mundo imperfeito, precisamos equilibrar exatidão e precisão. Às vezes, podemos sentir que poderíamos dar um pouco de precisão para obter mais precisão: trocamos o tempo todo. Portanto, o fato de um estimador ser tendencioso não significa que é ruim: pode ser que seja mais preciso.