verificar um posterior é adequado

Há um problema de lição de casa em um livro que pede para verificar a propriedade de uma certa distribuição posterior, e estou tendo um pequeno problema com isso. A configuração é que você tem um modelo de regressão logística com um preditor e um uniforme inadequado antes de . $\mathbb{R}^2$

Especificamente, assumimos para que portanto a probabilidade é O problema é que suspeito que esse posterior seja realmente impróprio. $i=1,\ldots,k$

y_{i} ∣ α, β, x_{i} \sim Binomial (n, invlogit (α + β x_{i})),

$y_i \mid \alpha, \beta,x_i \sim \text{Binomial}(n,\text{invlogit}(\alpha + \beta x_i)),$

p (y ∣ α, β, x) = \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$p(y \mid \alpha, \beta, x ) = \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

Para a situação específica em que , se usarmos a alteração das variáveis e , podemos ver que Na linha do asterisco, assumimos que , mas, se não, então terminamos com a mesma coisa. $k=1$ $s_1 = \text{invlogit}(\alpha + \beta x)$ $s_2 = \beta$

\begin{aligned} \iint_{R^{2}} p (y ∣ α, β, x) d α d β & = \iint_{R^{2}} [invlogit (α + β x)]^{y} [1 - invlogit (α + β x)]^{n - y} d α d β \\ = \int_{- \infty}^{\infty} \int_{0}^{1} s_{1}^{y - 1} (1 - s_{1})^{n - y - 1} d s_{1} d s_{2} \\ (*) & = B (y, n - y) \int_{- \infty}^{\infty} 1 d s_{2} \\ = \infty . \end{aligned}

$\begin{align*} \iint_{\mathbb{R}^2}p(y \mid \alpha, \beta, x ) \text{d}\alpha \text{d}\beta &= \iint_{\mathbb{R}^2}[\text{invlogit}(\alpha + \beta x)]^{y}[1-\text{invlogit}(\alpha + \beta x)]^{n-y} \text{d}\alpha \text{d}\beta \\ &= \int_{-\infty}^{\infty}\int_0^1 s_1^{y-1}(1-s_1)^{n-y-1} \text{d}s_1 \text{d}s_2 \\ &= B(y,n-y) \int_{-\infty}^{\infty} 1 \text{d}s_2 \tag{*}\\ &= \infty. \end{align*}$

0 < y < n

$0 < y < n$

Estou fazendo algo bobo aqui? Ou isso é um posterior impróprio?

logistic bayesian posterior improper-prior Taylor
fonte

À primeira vista - sem considerar os detalhes -, é surpreendentemente estranho que (a) você integre valores positivos e negativos de

β

$\beta$ e (b) um fator de

1 / β

$1/\beta$ não apareça quando você altera variáveis. Talvez, então, um pouco de atenção à mecânica da integração resolva seu problema.

whuber

Não fiz nenhuma matemática para apoiar isso, mas tanto minha intuição quanto minha memória dizem que você está certo e que o posterior não precisa ser adequado. Por analogia, se você fixar , um plano anterior em é o anterior de Haldane, que nem sempre leva a posteriores adequados.

β = 0

$\beta = 0$

α

$\alpha$

cara

Para , é possível ver diretamente da sua equação a probabilidade de que a densidade posterior seja constante ao longo das combinações de parâmetros para as quais assume valores constantes. Portanto, o posterior é realmente impróprio e tem a forma de uma crista para . Basicamente, qualquer linha de regressão ajustada à resposta observada em ajustará os dados. Mas para , eu ficaria surpreso se o posterior não for adequado, exceto em casos degenerados como ou em casos de separação linear.

k = 1

$k=1$

p (α, β | y_{1}, x_{1})

$p(\alpha,\beta|y_1,x_1)$

α + β x_{i}

$\alpha + \beta x_i$

k = 1

$k=1$

x_{1}

$x_1$

k > 1

$k>1$

x_{1} = x_{2}

$x_1=x_2$

Jarle Tufto 6/02/19

@ Xi'an é aí que as s veio

- 1

$-1$

Taylor

A explicação de @JarleTufto é completamente clara: a distribuição de depende apenas de , portanto, não pode trazer informações sobre e . Daí uma posterior imprópria. Também há um problema para mais observações se todos os forem todos iguais a ou todos iguais a .

Y

$Y$

α + β x

$\alpha+\beta x$

α

$\alpha$

β

$\beta$

y_{i}

$y_i$

0

$0$

n

$n$

Xian

Respostas:

Para , é possível ver diretamente da sua equação a probabilidade de que a densidade posterior seja constante ao longo de linhas paralelas nas quais assume valores constantes. Portanto, o posterior é realmente impróprio e tem a forma de uma crista para . Basicamente, qualquer linha de regressão adequada à resposta observada em sairá igualmente bem. $𝑘=1$ $𝑝(𝛼,𝛽|𝑦_1,𝑥_1)$ $𝛼+𝛽𝑥_𝑖$ $𝑘=1$ $𝑥_1$

Em seguida, suponha que temos observações. Considere a reparameterização dada por Como essa é uma transformação linear de com um determinante constante do anterior para também é uniforme sobre , desde que . Considere a reparameterização adicional, a transformação inversa do logit para . Claramente, também são a priori independentes, com densidades dadas por $k=2$

\begin{aligned} η_{1} & = α + β x_{1} \\ η_{2} & = α + β x_{2} \end{aligned}

$\begin{align} \eta_1 &= \alpha + \beta x_1 \\ \eta_2 &= \alpha + \beta x_2 \end{align}$

α, β

$\alpha,\beta$

η_{1}, η_{2}

$\eta_1,\eta_2$

R^{2}

$\mathbb{R}^2$

x_{1} \neq x_{2}

$x_1\neq x_2$

\begin{aligned} p_{i} = \frac{1}{1 + e^{- η_{i}}}, \end{aligned}

$\begin{align} p_i = \frac1{1+e^{-\eta_i}}, \end{align}$

i = 1, 2

$i=1,2$

p_{1}, p_{2}

$p_1,p_2$

π (p_{i}) = π (η_{i}) | \frac{d η_{i}}{d p_{i}} | \propto \frac{d}{d p_{i}} \ln \frac{p_{i}}{1 - p_{i}} = \frac{1}{(1 - p_{i}) p_{i}}

$\pi(p_i)=\pi(\eta_i)\Big|\frac{d\eta_i}{dp_i}\Big|\propto \frac d{dp_i}\ln\frac{p_i}{1-p_i} = \frac1{(1-p_i)p_i}$ Estes são chamados de anteriores inadequados de Haldane , que podem ser interpretados como uma certa forma de limite da densidade de uma distribuição Beta, com ambos os parâmetros próximos de zero. Condicional nos dados , desde que , a densidade marginal posterior de cada seja distribuições Beta apropriadas com os parâmetros . Retrotransformando, as distribuições posteriores de e também devem ser adequadas. Isso ocorre, exceto em casos especiais, como um

y_{1}, y_{2}

$y_1,y_2$

0 < y_{i} < n

$0<y_i<n$

p_{i}

$p_i$

y_{i}, n - y_{i}

$y_i,n-y_i$

(η_{1}, η_{2})

$(\eta_1,\eta_2)$

(α, β)

$(\alpha,\beta)$

y_{i}

$y_i$ assumindo um valor de 0 ou nesse caso, a função beta normalizante é infinita e a parte posterior de (e, portanto, a parte posterior de e ) é inadequada.

n

$n$

B (y_{i}, n - y_{i})

$B(y_i,n-y_i)$

p_{i}

$p_i$

α

$\alpha$

β

$\beta$

Para observações , a posterior também deve ser adequada, pois a densidade posterior não normalizada de é limitada pela posterior com base nas primeiras observações . $k>2$ $\alpha,\beta$ $k=2$

Jarle Tufto
fonte

Não tenho certeza de que nossas duas respostas estejam em desacordo matematicamente. Estou dizendo que a integral é infinita quando cada , e você está dizendo que a integral é finita sempre que todo estiver estritamente entre os pontos finais. Além disso, isso pode ser algo que depende de quem você pergunta, mas fiquei com a impressão de que, se um posterior não for adequado para todos os pontos de dados possíveis, ele será definido como "impróprio". O prior de Haldane é um exemplo em que isso acontece.

y_{i} = n

$y_i=n$

y_{i}

$y_i$

Taylor

Mas suas desigualdades dizem que a integral do posterior não normalizado (para qualquer ) (o lado esquerdo da primeira desigualdade) é infinita, portanto há um desacordo. Não tenho certeza, mas o último passo que combina as duas integrais parece envolver não apenas o que você definiu como e mas também etc. etc. esse é o erro.

y_{i}

$y_i$

s_{1}

$s_1$

s_{2}

$s_2$

invlogit (α + β x_{(n)})

$\mbox{invlogit}(\alpha + \beta x_{(n)})$

Jarle Tufto 14/02/19

sim, você está certo. Os integrandos são diferentes nesses dois lugares, portanto você não pode combiná-los.

Taylor

Infelizmente, isso assume que é o caso mais comum.

n > 1

$n>1$

21419 Taylor

É impróprio, eu acredito. Eu só preciso provar que Denotar função Agora que é uma função monotonicamente crescente, quando , temos

\int_{α \in R β > 0} p (y ∣ α, β, x) = + \infty .

$\int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) = +\infty.$

σ = i n v l o g i t

$\sigma = \mathrm{invlogit}$

σ

$\sigma$

β > 0

$\beta > 0$

σ (α + β x_{i}) > σ (α - β max | x_{i} |) > 0,

$\mathrm{\sigma}(\alpha + \beta x_i) > \mathrm{\sigma}(\alpha - \beta \max |x_i|) > 0,$

1 - σ (α + β x_{i}) > 1 - σ (α + β max | x_{i} |) > 0.

$1 - \mathrm{\sigma}(\alpha + \beta x_i) > 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) > 0.$

Assim, a integral

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{y_{i}} {[1 - σ (α + β max | x_{i} |)]}^{n_{i} - y_{i}} \\ > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{max n_{i}} \\ > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{k max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{k max n_{i}} \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{y_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{n_i - y_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{\max n_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{k\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{k\max n_i} \\ \end{aligned}$

São necessárias mais propriedades sobre : $\sigma$

{(σ (x))}^{N} = \frac{1}{(1 + e^{- x})^{N}} > \frac{1}{2^{N} (max {1, e^{- x}})^{N}} = \frac{1}{2^{N} (max {1, e^{- N x}})} > \frac{1}{2^{N}} σ (N x)

$\left( \sigma(x) \right)^N = \frac{1}{(1+e^{-x})^N} > \dfrac{1}{2^N (\max\{1,e^{-x}\}) ^N} = \dfrac{1}{2^N (\max\{1,e^{-Nx}\})} > \dfrac{1}{2^N}\sigma(Nx)$

Seja, , em seguida, $\xi = \alpha - \beta \max |x_i|$ $\eta = \alpha + \beta \max |x_i|, N=k\max n_i$

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{N} {[1 - σ (α + β max | x_{i} |)]}^{N} \\ \propto & \int_{- \infty < ξ < η < + \infty} {[σ (ξ)]}^{N} {[σ (- η)]}^{N} \\ > & \frac{1}{2^{2 N}} \int_{ξ}^{+ \infty} (\int_{- \infty}^{+ \infty} σ (N ξ) d ξ) σ (- N η) d η \\ = & + \infty \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{N} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{N} \\ \propto& \int\limits_{-\infty < \xi < \eta < +\infty} \left[ \mathrm{\sigma}(\xi) \right]^{N} \left[ \mathrm{\sigma}(-\eta) \right]^{N}\\ >& \frac{1}{2^{2N}}\int\limits_{\xi}^{+\infty} \Big( \int\limits_{-\infty}^{+\infty} \mathrm{\sigma}(N\xi) \mathrm{d}\xi \Big) ~ \mathrm{\sigma}(- N\eta) \mathrm{d}\eta \\ =& +\infty \end{aligned}$

Silly Song
fonte

Eu fiz uma edição. Espero que esteja certo.

Silly Song

No segundo último passo, acho que os limites da integral dupla estão errados. Em vez disso, recebo Usando o Maple, acho que essa integral dupla é finita e é igual a . Então, tudo o que você pode dizer com base em sua derivação é que a constante de normalização da parte posterior de é maior que algo finito.

\begin{aligned} \int_{- \infty}^{\infty} σ (- N η) \int_{- \infty}^{η} σ (N ξ) d ξ d η \end{aligned}

$\begin{align} \int_{-\infty}^\infty\sigma(-N\eta)\int_{-\infty}^\eta\sigma(N\xi) d\xi d\eta \end{align}$

π / (6 N^{2})

$\pi/(6N^2)$

α, β

$\alpha,\beta$

Jarle Tufto 01/03/19

Eu já aceitei uma resposta, mas queria ressaltar que o posterior não é adequado para todos os conjuntos de dados possíveis. O posterior é proporcional à probabilidade, que é Se , isso simplifica para

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

y_{1} = y_{2} = \dots = y_{k} = n

$y_1 = y_2 = \cdots = y_k = n$

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n},

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n,$

e podemos ver que

\begin{aligned} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (α + β x_{(1)})]^{n k} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (r_{1})]^{n k} d r_{1} d r_{2} \\ = \infty . \end{aligned}

$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta\\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(\alpha + \beta x_{(1)})]^{nk} \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(r_1)]^{nk} \text{d}r_1 \text{d}r_2 \\ &= \infty. \end{align*}$

Taylor
fonte