Melhorando o estimador mínimo

Suponha que eu tenho parâmetros positivos para estimar e suas estimativas imparciais não produzidas pelos estimadores , ou seja, , e assim por diante.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Gostaria de estimar usando as estimativas disponíveis. Claramente, o estimador ingênuo é enviesado mais baixo como $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Suponha que eu também tenha a matriz de covariância dos estimadores correspondentes em mãos. É possível obter uma estimativa imparcial (ou menos tendenciosa) do mínimo usando as estimativas fornecidas e a matriz de covariância?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

$\min(\mu_1, \dots, \mu_n)$

Por exemplo, deixe e . Seja a quantidade alvo e é uma estimativa de . Se usarmos o estimador "ingênuo" que , o erro de estimativa é delimitado por até constante. (Observe que o erro de estimativa para cada é ). Claro, seμ = ( μ 1 , ... , μ n ) θ = min i μ i θ θ θ = min I ( ˉ Y i ) ¯ Y i = $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$L2E[ θ -θ]2⪅σ2log$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$ μiσ

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$ μiσσ$\frac{\sigma^2}{N}$$\mu_i$estão longe um do outro e é muito pequeno, o erro de estimativa deve ser reduzido para . No entanto, na pior das hipóteses, não há estimativa de funcionar melhor que o estimador ingênuo. Você pode mostrar com precisão que onde o menor assume todo o possível estiamto de base na amostra e o supremo assume toda a configuração possível de 's.$\sigma$ θinf θ sup μ 1 ,..., μ n E[ θ -θ]2⪆σ2log$\frac{\sigma^2}{N}$$\theta$ θY1,…,YNμ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Portanto, o estimador ingênuo é minimax ideal até constante, e não há melhor estimativa de nesse sentido.$\theta$

EDIT: O seguinte responde a uma pergunta diferente da que foi perguntada - ela é enquadrada como se for considerada aleatória, mas não funciona quando é considerado fixo, o que provavelmente é o que o OP tinha em mente. Se for corrigido, não tenho uma resposta melhor queμ μ min ( μ 1 , . . . , μ n$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Se considerarmos apenas estimativas de média e covariância, poderemos tratar como uma amostra única da distribuição normal multivariada. Uma maneira simples de obter uma estimativa do mínimo é extrair um grande número de amostras do , calcular o mínimo de cada amostra e, em seguida, calcular a média desses mínimos.H V N- ( μ , Σ $(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

O procedimento acima e suas limitações podem ser entendidos em termos bayesianos - tomando a notação da Wikipedia no MVN , se é a covariância conhecida dos estimadores e temos uma observação, a distribuição posterior da articulação é onde e surgem do anterior onde, antes de observar quaisquer dados, usamos o anterior ). Como você provavelmente não está disposto a colocar anteriores em , podemos assumir o limite como , resultando em flat anterior e posterior se tornandoμ ~ H V N ( μ + m λ $\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. No entanto, dado o plano anterior, estamos implicitamente assumindo que os elementos de diferem muito (se todos os números reais forem igualmente prováveis, obter valores semelhantes é muito improvável).$\mu$

Uma simulação rápida mostra que a estimativa com este procedimento superestima levemente quando os elementos de diferem muito e subestima quando os elementos são semelhantes. Alguém poderia argumentar que, sem nenhum conhecimento prévio, esse é um comportamento correto. Se você estiver disposto a declarar pelo menos algumas informações anteriores (por exemplo, ), os resultados poderão se comportar um pouco melhor para o seu caso de uso.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Se você estiver disposto a assumir mais estrutura, poderá escolher uma distribuição melhor do que a multivariável normal. Também pode fazer sentido usar Stan ou outro amostrador MCMC para ajustar as estimativas de em primeiro lugar. Isso você um conjunto de amostras de que refletem a incerteza nos próprios estimadores, incluindo sua estrutura de covariância (possivelmente mais rica do que o MVN pode fornecer). Mais uma vez, é possível calcular o mínimo para cada amostra para obter uma distribuição posterior sobre os mínimos e calcular a média dessa distribuição se precisar de uma estimativa pontual.$\mu$$(\mu_1, ..., \mu_n)$