Como a distribuição gama inversa está relacionada a

8

Dado que a estimativa posterior de de uma probabilidade normal e uma gama inversa anterior a é:σ2σ2

σ2IG(α+n2,β+i=1n(yiμ)22)

que é equivalente a

σ2IG(n2,nσ22)

uma vez que um fraco anterior em remove e do eqn 1:IG(α,β)σ2αβ

σ2IG(n2,i=1n(yiμ)22)

É aparente que a estimativa posterior de é uma função do tamanho da amostra e da soma dos quadrados da probabilidade. Mas o que isso significa? Há uma derivação na Wikipedia que eu não sigo exatamente.σ2

Tenho as seguintes perguntas

  1. Posso chegar a esta segunda equação sem invocar a regra de Bayes? Estou curioso para saber se há algo inerente aos parâmetros de um GI relacionado à média e variância, independentemente da probabilidade normal.
  2. Posso usar o tamanho da amostra e o desvio padrão de um estudo anterior para estimar um anterior informado sobre e atualizar o anterior com novos dados? Isso parece simples, mas não consigo encontrar exemplos de como fazê-lo ou justificativa para que essa seja uma abordagem legítima - além do que pode ser visto no posterior.σ2
  3. Existe um livro popular de probabilidade ou estatística que eu possa consultar para obter mais explicações?
Abe
fonte
Você não quer dizer uma probabilidade de gama inversa e uma gama de inversa anterior?
Neil G
1
Antes de tudo, vejo na sua pergunta vários mal-entendidos: do teorema de Bayes você não obtém estimativas posteriores, mas toda a distribuição posterior. O segundo ponto é que essa distribuição posterior não depende "da soma dos quadrados da probabilidade". Simplesmente depende do tamanho da sua amostra (ou seja, n) e dos valores da amostra, o que é perfeitamente natural e razoável. Essas dependências afetam suas estimativas posteriores de média, variância etc. Por exemplo, o parâmetro de média posterior da variância é igual a
1n2(yiμ)2
Tomas
@ Thomas por estimativa, eu quis dizer estimativa da distribuição posterior;. O termo soma dos quadrados no posterior não é exatamente o mesmo cálculo que o termo ss na probabilidade normal?
Abe
1
@ Talvez eu tenha feito (e respondido) recentemente uma pergunta relacionada à sua pergunta nº. 2. É dado ao SD e ao SD do SD como calcular a gama correspondente antes da precisão de uma distribuição normal: A pergunta é aqui: stats.stackexchange.com/questions/41187/…
Rasmus Bååth

Respostas:

9

Eu acho que é mais correto falar da distribuição posterior do seu parâmetro vez de sua estimativa posterior. Para maior clareza das anotações, deixarei o primo em seguir.σ2σ2

Suponha que seja distribuído como , - eu largo por enquanto para fazer um exemplo heurístico - e é distribuído como e é independente de .XN(0,σ2)μ1/σ2=σ2Γ(α,β)X

O pdf de dado é gaussiano, ieXσ2

f(x|σ2)=12πσ2exp(x22σ2).

O pdf conjunto de , é obtido pela multiplicação de por - o pdf de . Isso sai como(X,σ2)f(x,σ2)f(x|σ2)g(σ2)σ2

f(x,σ2)=12πσ2exp(x22σ2)βαΓ(α)exp(βσ2)1σ2(α1).

We can group similar terms and rewrite this as follows

f(x,σ2)σ2(α1/2)exp(σ2(β+x2/2)).

The posterior distribution of σ2 is by definition the pdf of σ2 given x, which is f(x,σ2)/f(x) by Bayes' formula. To answer your question 1. I don't think there is a way to express f(σ2|x) from f(x,σ2) without using Bayes' formula. On with the computation, we recognize in the formula above something that looks like a Γ function, so integrating σ2 out to get f(x) is fairly easy.

f(x)(β+x2/2)(α+1/2),

so by dividing we get

f(σ2|x)(β+x2/2)(σ2(β+x2/2))α1/2exp(σ2(β+x2/2))(σ2(β+x2/2))α1/2exp(σ2(β+x2/2)).

And here in the last formula we recognize a Γ distribution with parameters (α+1/2,β+x2/2).

If you have an IID sample ((x1,σ12),...,(xn,σn2)), by integrating out all the σi2, you would get f(x1,...,xn) and then f(σ12,...,σn2|x1,...,xn) as a product of the following terms:

f(σ12,...,σn2|x1,...,xn)i=1n(σi2(β+xi2/2))α1/2exp(σi2(β+xi2/2)),

Which is a product of Γ variables. And we are stuck here because of the multiplicity of the σi2. Besides, the distribution of the mean of those independent Γ variables is not straightforward to compute.

However, if we assume that all the observations xi share the same value of σ2 (which seems to be your case) i.e. that the value of σ2 was drawn only once from a Γ(α,β) and that all xi were then drawn with that value of σ2, we obtain

f(x1,...,xn,σ2)σ2(α+n/2)exp(σ2(β+12i=1nxi2)),

from which we derive the posterior distribution of σ2 as your equation 1 by applying Bayes' formula.

The posterior distribution of σ2 is a Γ that depends on α and β, your prior parameters, the sample size n and the observed sum of squares. The prior mean of σ2 is α/β and the variance is α/β2, so if α=β and the value is very small, the prior carries very little information about σ2 because the variance becomes huge. The values being small, you can drop them from the above equations and you end up with your equation 3.

In that case the posterior distribution becomes independent of the prior. This formula says that the inverse of the variance has a Γ distribution that depends only on the sample size and the sum of squares. You can show that for Gaussian variables of known mean, S2, the estimator of the variance, has the same distribution, except that it is a function of the sample size and the true value of the parter σ2. In the Bayesian case, this is the ditribution of the parameter, in the frequentist case, it is the distribution of the estimator.

Regarding your question 2. you can of course use the values obtained in a previous experiment as your priors. Because we established a parallel between Bayesian and frequentist interpretation in the above, we can elaborate and say that it is like computing a variance from a small sample size and then collecting more data points: you would update your estimate of the variance rather than throw away the first data points.

Regarding your question 3. I like the Introduction to Mathematical Statistics by Hogg, McKean and Craig, which usually gives the detail of how to derive these equations.

gui11aume
fonte
1

For question 1, the second equation follows from Bayes' rule as you point out, and I don't see how to avoid that.

For question 2, yes, you can do this. Just use a prior of the same form as your second equation.

For question 3, I would look for something about exponential families. Maybe someone will recommend a good resource.

Neil G
fonte