Existe um exemplo em que o MLE produz uma estimativa tendenciosa da média?

Você pode fornecer um exemplo de um estimador de MLE da média que é tendenciosa?

Não estou procurando um exemplo que quebre os estimadores de MLE em geral, violando as condições de regularidade.

Todos os exemplos que vejo na internet referem-se à variação e não consigo encontrar nada relacionado à média.

EDITAR

O @MichaelHardy forneceu um exemplo em que obtemos uma estimativa tendenciosa da média da distribuição uniforme usando o MLE sob um determinado modelo proposto.

Contudo

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

sugere que o MLE é um estimador imparcial mínimo uniforme da média, claramente em outro modelo proposto.

Neste ponto, ainda não está muito claro para mim o que se entende por estimativa do MLE, se é um modelo muito dependente de hipóteses, em vez de dizer um estimador médio de amostra que é neutro em relação ao modelo. No final, estou interessado em estimar algo sobre a população e realmente não me importo com a estimativa de um parâmetro de um modelo hipotético.

EDIT 2

Como o @ChristophHanck mostrou o modelo com informações adicionais introduziu o viés, mas não conseguiu reduzir o MSE.

Também temos resultados adicionais:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (slide 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (slide 5)

"Se um estimador imparcial mais eficiente ˆθ de θ existe (ou seja, isθ é imparcial e sua variação é igual ao CRLB), então o método de estimativa de probabilidade máxima o produzirá."

"Além disso, se existe um estimador eficiente, é o estimador de ML".

Como o MLE com parâmetros de modelo livre é imparcial e eficiente, por definição é "o" Estimador de Máxima Verossimilhança?

EDIT 3

O @AlecosPapadopoulos tem um exemplo com distribuição Half Normal no fórum de matemática.

/math/799954/can-the-maximum-likelihood-estimator-be-unbiated-and-fail-to-achieve-cramer-rao

Não está ancorando nenhum de seus parâmetros, como no caso uniforme. Eu diria que isso resolve, embora ele não tenha demonstrado o viés do estimador médio.

Christoph Hanck não publicou os detalhes de seu exemplo proposto. Presumo que ele significa a distribuição uniforme no intervalo base em uma amostra iid X 1 , … , X n de tamanho maior que n = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

A média é .$\theta/2$

O MLE da média é $\max\{X_1,\ldots,X_n\}/2.$

Isso é tendencioso, já que então E ( max / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: Talvez devêssemos notar que o melhor estimador imparcial da média não é a média da amostra, mas sim n + $\theta/2$A média da amostra é um péssimo estimador de θ / 2 porque, para algumas amostras, a média da amostra é menor que

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$ e é claramente impossível para θ / 2 para ser inferior a max / 2. final de PS$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

Suspeito que a distribuição de Pareto seja outro caso. Aqui está a medida de probabilidade: O valor esperado é

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ O MLE do valor esperado é $\dfrac \alpha {\alpha -1 } \kappa.$ onde min = $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Eu não calculei o valor esperado do MLE para a média, então não sei qual é o seu viés.

Aqui está um exemplo que eu acho que alguns podem achar surpreendente:

Na regressão logística, para qualquer tamanho finito de amostra com resultados não determinísticos (ou seja, ), qualquer coeficiente de regressão estimado não é apenas tendencioso, a média do coeficiente de regressão é realmente indefinida.$0 < p_{i} < 1$

Isso ocorre porque, para qualquer tamanho finito de amostra, existe uma probabilidade positiva (embora muito pequena se o número de amostras for grande comparado ao número de parâmetros de regressão) de obter uma separação perfeita dos resultados. Quando isso acontece, os coeficientes de regressão estimados serão ou ∞ . Ter probabilidade positiva de ser$-\infty$$\infty$$-\infty$ ou implica o valor esperado é indefinido.$\infty$

Para mais informações sobre esse assunto específico, consulte o efeito Hauck-Donner .

Embora @MichaelHardy tenha argumentado isso, aqui está um argumento mais detalhado sobre por que o MLE do máximo (e, portanto, o da média , por invariância) não é imparcial, embora esteja em um modelo diferente (consulte a edição abaixo).$\theta/2$

Estimamos o limite superior da distribuição uniforme . Aqui, y ( n ) é o MLE, para uma amostra aleatória y . Mostramos que y ( n ) não é imparcial. Seu cdf é F y ( n ) ( x $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ Assim, sua densidade é fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ Portanto, E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

EDIT: É realmente o caso em que (veja a discussão nos comentários) o MLE é imparcial quanto à média no caso em que o limite inferior e o limite superior b são desconhecidos. Então, o mínimo Y ( 1 ) é o MLE para a , com (detalhes omitidos) valor esperado E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$ enquanto E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ para que o MLE para(a+b)/2seja Y ( 1 ) +Y ( n $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ com valor esperado E( Y ( 1 ) + Y ( n $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: Para elaborar o ponto de Henry, aqui está uma pequena simulação para o MSE dos estimadores da média, mostrando que enquanto o MLE, se não sabemos o limite inferior é zero, não é imparcial, os MSEs das duas variantes são idênticos. , sugerindo que o estimador que incorpora o conhecimento do limite inferior reduz a variabilidade.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Completando aqui a omissão na minha resposta em math.se referenciada pelo OP,

$n$

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

A probabilidade logarítmica da amostra é

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

$v$

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.