Temos N amostras, , de uma distribuição uniforme onde é desconhecida. Estime partir dos dados. [ 0 , θ ] θ $X_i$$[0,\theta]$$\theta$$\theta$

Então, o governo de Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

e a probabilidade é:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (editar: quando para todos os e 0 caso contrário - obrigado whuber)$0 \le X_i \le \theta$$i$

mas sem outras informações sobre , parece que o prior deve ser proporcional a (ou seja, uniforme) ou a (Jeffreys prior?) em mas minhas integrais não convergir, e não tenho certeza de como proceder. Alguma ideia?1 $\theta$$1$ [0,∞$\frac{1}{L}$$[0,\infty]$

Isso gerou um debate interessante, mas observe que realmente não faz muita diferença para a questão do interesse. Pessoalmente, acho que porque é um parâmetro de escala, o argumento do grupo de transformação é apropriado, levando a um anterior de$\theta$

$$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$$

Essa distribuição tem a mesma forma no redimensionamento do problema (a probabilidade também permanece "invariável" no redimensionamento). O núcleo deste anterior, pode ser derivado resolvendo a equação funcional . Os valores dependem do problema e realmente importam apenas se o tamanho da amostra for muito pequeno (como 1 ou 2). O posterior é um pareto truncado, dado por:$f(y)=y^{-1}$$af(ay)=f(y)$$L,U$

$$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$$ Onde é o enésimo estatística do pedido ou o valor máximo da amostra. Obtemos a média posterior de Se defina e , obtemos a expiração mais simples .$X_{(N)}$ $$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$$ $U\to\infty$$L\to 0$$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Mas agora suponha que usamos um prior mais geral, dado por (observe que mantemos os limites para garantir que tudo esteja correto - nenhuma matemática singular então ) O posterior é o mesmo que acima, mas com substituído por - desde que . Repetindo os cálculos acima, a média posterior simplificada de$p(\theta|cI)\propto\theta^{-c-1}$$L,U$$N$$c+N$$c+N\geq 0$

$$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$$

Portanto, o uniforme anterior ( ) fornecerá uma estimativa de desde que (a média seja infinita para ). Isso mostra que o debate aqui é um pouco como usar ou como o divisor na estimativa de variância.$c=-1$$\frac{N-1}{N-2}X_{(N)}$$N\geq 2$$N=2$$N$$N-1$

Um argumento contra o uso do uniforme impróprio anteriormente neste caso é que o posterior é impróprio quando , pois é proporcional a . Mas isso só importa se ou for muito pequeno.$N=1$$\theta^{-1}$$N=1$

Como o objetivo aqui é presumivelmente obter alguma estimativa válida e útil de , a distribuição anterior deve ser consistente com a especificação da distribuição da população da qual a amostra vem. Isso NÃO significa que "calculamos" o anterior usando a própria amostra - isso anularia a validade de todo o procedimento. Sabemos que a população da qual a amostra provém é uma população de variáveis ​​aleatórias uniformes de iid, cada uma variando em . Esta é uma suposição mantida e faz parte das informações anteriores que possuímos (e não tem nada a ver com a amostra , isto é, com uma realização específica de um subconjunto dessas variáveis ​​aleatórias).$\theta$$[0,\theta]$

Agora suponha que essa população consista em variáveis ​​aleatórias (enquanto nossa amostra consiste em realizações de variáveis ​​aleatórias). A suposição mantida nos diz que $m$$n<m$$n$

$$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$$

Indique para compacidade . Então temos que também pode ser escrito $\max_{i=1,...,n}\{X_i\} \equiv X^*$$\theta \ge X^*$

$$\theta = cX^*\qquad c\ge 1$$

A função densidade dos de iid Uniform rv variando em é $\max$$N$$[0,\theta]$

$$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$$

para o suporte e zero em outro lugar. Então, usando e aplicando a fórmula de mudança de variável, obtemos uma distribuição anterior para que é consistente com a suposição mantida: $[0,\theta]$$\theta = cX^*$$\theta$

$$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$$

o que pode ser impróprio se não especificarmos a constante adequadamente. Mas nosso interesse reside em ter um posterior apropriado para e também não queremos restringir os possíveis valores de (além da restrição implícita na suposição mantida). Então deixamos indeterminado. Então, escrevendo a parte posterior é$c$$\theta$$\theta$$c$
$\mathbf X = \{x_1,..,x_n\}$

$$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$$

para alguma constante de normalização A. Queremos

$$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$$

$$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$$

Inserindo na parte posterior

$$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$$

Observe que a constante indeterminada da distribuição anterior foi cancelada convenientemente.$c$

O posterior resume todas as informações que a amostra específica pode nos fornecer sobre o valor de . Se queremos obter um valor específico para , podemos calcular facilmente o valor esperado do posterior, $\theta$$\theta$

$$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$$

Existe alguma intuição nesse resultado? Bem, à medida que o número de aumenta, o mais provável é que a realização máxima entre eles esteja cada vez mais próxima de seu limite superior, - que é exatamente o que o valor médio posterior de reflete: se, por exemplo, , , mas se . Isso mostra que nossa tática em relação à seleção do prior era razoável e consistente com o problema em questão, mas não necessariamente "ideal" em algum sentido.$X$$\theta$$\theta$$N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$$N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

Teorema uniforme de distribuição anterior (maiúsculas e minúsculas):

"Se a totalidade de Suas informações sobre externa aos dados for capturada pela proposição única então Sua única especificação anterior consistente em termos logicamente internos é $\theta$$D$

$$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$$ $$f(\theta)=\text{Uniform}(a,b)$$

Assim, sua especificação anterior deve corresponder à de Jeffrey, se você realmente acredita no teorema acima. "

Não faz parte do teorema uniforme de distribuição anterior:

Como alternativa, você pode especificar sua distribuição anterior como uma distribuição de Pareto, que é a distribuição conjugada do uniforme, sabendo que sua distribuição posterior terá que ser outra distribuição uniforme por conjugação. No entanto, se você usar a distribuição Pareto, precisará especificar parâmetros da distribuição Pareto de alguma forma.$f(\theta)$