Intervalo de confiança para variação dada uma observação

Este é um problema da "7ª Olimpíada de Estudantes de Kolmogorov na Teoria da Probabilidade":

Dada uma observação de uma distribuição com ambos os parâmetros desconhecidos, forneça um intervalo de confiança para com um nível de confiança de pelo menos 99%.$X$$\operatorname{Normal}(\mu,\sigma^2)$$\sigma^2$

Parece-me que isso deveria ser impossível. Eu tenho a solução, mas ainda não a li. Alguma ideia?

Vou postar a solução em alguns dias.

[Acompanhamento editar: solução oficial postada abaixo. A solução do Cardinal é mais longa, mas oferece um melhor intervalo de confiança. Agradecemos também a Max e Glen_b por sua contribuição.]

Visto pelas lentes das desigualdades de probabilidade e conexões com o caso de observação múltipla, esse resultado pode não parecer tão impossível ou, pelo menos, parecer mais plausível.

Permita que com e desconhecido. Podemos escrever para .μ σ 2 X = σ Z + μ Z ∼ N ( 0 , 1 $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$$\mu$$\sigma^2$$X = \sigma Z + \mu$$Z \sim \mathcal N(0,1)$

Reivindicação principal : é um intervalo de confiança para que é o quantil level de uma distribuição qui-quadrado com um grau de liberdade. Além disso, uma vez que este intervalo tem exactamente cobertura quando , que é o mais estreito intervalo possível da forma para alguns .( 1 - α ) σ 2 q α α ( 1 - α ) μ = 0 [ 0 , b X 2 ) b ∈ $[0,X^2/q_\alpha)$$(1-\alpha)$$\sigma^2$$q_\alpha$$\alpha$ $(1-\alpha)$$\mu = 0$$[0,b X^2)$$b \in \mathbb R$

Uma razão para otimismo

Lembre-se de que no caso , com , o intervalo de confiança típico para é que é o quantil -level de um qui-quadrado com graus de liberdade. Isso, é claro, vale para qualquer . Embora este seja o intervalo mais popular (chamado de intervalo de cauda igual por razões óbvias), não é o único nem o de menor largura! Como deve ser aparente, outra seleção válida é T = Σ n i = 1 ( X i - ˉ X ) 2 ( 1 - α ) σ 2 ($n \geq 2$$T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$$\sigma^2$q k , a a k μ ( 0 ,

$$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$$ $q_{k,a}$$a$$k$$\mu$ $$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$$

Como , então também tem cobertura de pelo menos . ( 0 , Σ n i = 1 X 2 $T \leq \sum_{i=1}^n X_i^2$( 1 - α

$$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$$ $(1-\alpha)$

Visto sob essa luz, podemos estar otimistas de que o intervalo na reivindicação principal é verdadeiro para . A principal diferença é que não há distribuição qui-quadrado de zero grau de liberdade para o caso de uma única observação; portanto, devemos esperar que o uso de um quantil de um grau de liberdade funcione.$n = 1$

Meio passo em direção ao nosso destino ( explorando a cauda direita )

Antes de mergulhar em uma prova da alegação principal, vamos primeiro examinar uma alegação preliminar que não é tão forte ou satisfatória estatisticamente, mas talvez ofereça algumas informações adicionais sobre o que está acontecendo. Você pode pular para a prova da reivindicação principal abaixo, sem muito (se houver) perda. Nesta seção e na próxima, as provas - embora um pouco sutis - são baseadas apenas em fatos elementares: monotonicidade de probabilidades e simetria e unimodalidade da distribuição normal.

Reivindicação auxiliar : é um intervalo de confiança para desde que . Aqui é o quantil level de um normal padrão.( 1 - α ) σ 2 α > 1 / 2 z α$[0,X^2/z^2_\alpha)$$(1-\alpha)$$\sigma^2$$\alpha > 1/2$$z_\alpha$$\alpha$

Prova . epor simetria, portanto, no que se segue, podemos obter sem perda de generalidade. Agora, para e , e, com , vemos que Isso funciona apenas para , pois é isso que é necessário para .| σ Z + μ | d = | - σ Z + μ | μ ≥ 0 θ ≥ 0 μ ≥ 0 P ( | X | > θ ) ≥ P ( X > θ ) = P ( σ Z + μ > θ ) ≥ P ( $|X| = |-X|$$|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$$\mu \geq 0$$\theta \geq 0$$\mu \geq 0$θ = z α σ P ( 0 ≤ σ 2 < X 2 / z 2 α ) ≥ 1 -

$$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$$ $\theta = z_{\alpha} \sigma$α > 1 / 2 z α > $$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$$ $\alpha > 1/2$$z_\alpha > 0$

Isso prova a reivindicação auxiliar. Embora ilustrativo, é desagradável do ponto de vista estatístico, pois requer um absurdamente grande para funcionar.$\alpha$

Comprovando a reivindicação principal

Um refinamento do argumento acima leva a um resultado que funcionará para um nível de confiança arbitrário. Primeiro, observe que Definir e . Então, Se pudermos mostrar que o lado direito aumenta em para cada fixo , podemos empregar um argumento semelhante ao do argumento anterior. Isso é pelo menos plausível, pois gostaríamos de acreditar que, se a média aumentar, torna-se mais provável que vejamos um valor com um módulo que exceda

$$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$$ $a = \mu/\sigma \geq 0$$b = \theta / \sigma \geq 0$ $$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$$ $a$$b$$b$. (No entanto, devemos observar a rapidez com que a massa está diminuindo na cauda esquerda!)

Defina . Então Observe que e para positivo , está diminuindo em . Agora, para , é fácil ver que . Esses fatos juntos facilmente implicam que para todo e qualquer fixo .$f_b(a) = \Phi(a-b) + \Phi(-a-b)$

$$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$$ $f'_b(0) = 0$$u$$\varphi(u)$$u$$a \in (0,2b)$$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$ $$f'_b(a) \geq 0$$ $a \geq 0$$b \geq 0$

Assim, temos mostrado que para e , $a \geq 0$$b \geq 0$

$$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$$

Desvendando tudo isso, se tomarmos , obteremos que estabelece a reivindicação principal.$\theta = \sqrt{q_\alpha} \sigma$

$$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$$

Observação final : Uma leitura cuidadosa do argumento acima mostra que ele usa apenas as propriedades simétricas e unimodais da distribuição normal. Portanto, a abordagem funciona de forma análoga para obter intervalos de confiança a partir de uma única observação de qualquer família de escala de localização unimodal simétrica, por exemplo, distribuições de Cauchy ou Laplace.

Hora de acompanhar! Aqui está a solução que me foi dada:

Construiremos um intervalo de confiança no formato , onde é uma estatística. Por definição, este será um intervalo de confiança com nível de confiança de pelo menos 99% se Observamos que a densidade da distribuição não excede . Portanto, para cada . Segue que Conectando$[0,T(X))$$T(\cdot)$

$$(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$$ $\mathcal{N}(\mu,\sigma^2)$$1/\sigma\sqrt{2\pi}$$\mathbb{P}(|X| \leq a) \leq a/\sigma$$a \geq 0$ $$t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$$ $t = 0.01$obtemos que a estatística apropriada é$T(X) = 10000X^2.$

O intervalo de confiança (que é muito amplo) é um pouco conservador na simulação, sem cobertura empírica (em 100.000 simulações) menor que 99,15%, pois variei o CV em várias ordens de magnitude.

Para comparação, também simulei o intervalo de confiança do cardeal. Devo observar que o intervalo do cardeal é um pouco menor - no caso de 99%, ele acaba chegando a cerca de , em oposição aos na solução fornecida. A cobertura empírica é correta no nível nominal, novamente em muitas ordens de magnitude para o CV. Então o intervalo dele definitivamente vence.$6300X^2$$10000X^2$

Não tive tempo de olhar atentamente para o artigo publicado por Max, mas pretendo dar uma olhada nisso e posso acrescentar alguns comentários a respeito mais tarde (ou seja, antes de uma semana). Esse artigo reivindica um intervalo de confiança de 99% de , que possui uma cobertura empírica ligeiramente menor (cerca de 98,85%) do que a cobertura nominal para currículos grandes em minhas breves simulações.$(0,4900X^2)$

Os ICs presumivelmente.$(0,\infty)$