Por que essa distribuição é uniforme?

Estamos investigando testes estatísticos bayesianos e deparamos com um fenômeno estranho (para mim pelo menos).

Considere o seguinte caso: estamos interessados em medir qual população, A ou B, tem uma taxa de conversão mais alta. Para uma verificação de sanidade, definimos $p_A = p_B$ , ou seja, a probabilidade de conversão é igual nos dois grupos. Geramos dados artificiais usando um modelo binomial, por exemplo,

n_{A} \sim Binomial (N, p_{A})

$n_A \sim \text{Binomial}(N, p_A)$

Em seguida, tentamos estimar $p_A, p_B$ usando um modelo beta-binomial bayesiano para obter posteriores para cada taxa de conversão, por exemplo,

P_{A} \sim Beta (1 + n_{A}, N - n_{A} + 1)

$P_A \sim \text{Beta}(1 + n_A, N - n_A +1 )$

Nossa estatística de teste é calculada calculando $S = P(P_A > P_B\; |\; N, n_A, n_B)$ via monte carlo.

O que me surpreendeu foi que, se $p_A = p_B$ , então $S \sim \text{Uniform(0,1)}$ . Meu pensamento era que ele seria centrado em torno de 0,5 e até convergir para 0,5 conforme o tamanho da amostra, $N$ , cresce.

Minha pergunta é: por que $S \sim \text{Uniform(0,1)}$ quando $p_A = p_B$ ?

Aqui está um código Python para demonstrar:

%pylab
from scipy.stats import beta
import numpy as np
import pylab as P

a = b = 0.5
N = 10000
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples)
P.show()

hypothesis-testing bayesian binomial python beta-distribution Cam.Davidson.Pilon
fonte

Observe que

não pode ser exatamente uniforme, porque é uma variável discreta. Você está, portanto, perguntando sobre o comportamento assintótico. Além disso, para

pequeno (menos de

, aproximadamente, com

S

$S$

N

$N$

100 / min (p, 1 - p)

$100/\min(p,1-p)$

) a distribuição não é nem remotamente próxima do uniforme.

p = p_{A} = p_{B}

$p=p_A=p_B$

whuber

@whuber S não é discreto, é uma probabilidade que pode cair entre 0 e 1. Além disso, mesmo para N baixo, estou observando um comportamento uniforme.

Cam.Davidson.Pilon

Devo estar entendendo mal sua configuração, então. Tanto quanto eu posso dizer, para qualquer valor dado de

o valor de

é um número. Portanto, aceitando que

N, n_{A}, n_{B},

$N,n_A,n_B,$

S

$S$

são fixadas para o momento (como eles estão em seu código),

é uma função de

. Mas a última, sendo realização de duas distribuições binomiais, pode atingir apenas um conjunto discreto de valores. Quando reproduzo seu código em

N, p_{A},

$N, p_A,$

p_{B}

$p_B$

S

$S$

(n_{A}, n_{B})

$(n_A,n_B)$ R, Obtenho histogramas decididamente não uniformes para

pequeno .

N

$N$

whuber

Embora seu

tenha valores entre

S

$S$

0

$0$

1

$1$ , não confunda isso com não discreto: ele pode ter no máximo

valores distintos (e na verdade tem menos que isso). Isso pode não estar perfeitamente claro para você, porque sua simulação gera estimativas de

vez de seus valores corretos e as estimativas essencialmente têm uma distribuição contínua.

N^{2}

$N^2$

S

$S$

whuber

@ whuber sim, você está correto, excelente observação. Eu ainda estou preso por que parece uniforme então.

Cam.Davidson.Pilon

Respostas:

TL; DR: misturas de distribuições normais podem parecer uniformes quando os tamanhos de lixeira são grandes.

Essa resposta é emprestada do código de exemplo do @ whuber (que eu pensei que era primeiro um erro, mas em retrospecto provavelmente era uma dica).

As proporções subjacentes na população são iguais: a = b = 0.5.
Cada grupo, A e B tem 10000 membros: N = 10000.
Nós estamos indo para conduzir 5000 repetições de uma simulação: for i in range(5000):.

Na realidade, o que está a fazer é um de um . Em cada um dos 5000 iterações faremos $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$ $\rm simulation_\rm{prime}$ . $\rm simulation_\rm{underlying}$

Em cada iteração de que vai simular um número aleatório de A e B que são 'sucessos' (AKA convertido) tendo em conta as proporções subjacentes iguais definidas anteriormente:. Nominalmente, isso produzirá A = 5000 e B = 5000, mas A e B variam de execução sim para execução sim e são distribuídos pelas corridas da simulação 5000 de forma independente e (aproximadamente) normalmente (voltaremos a isso). $\rm simulation_\rm{prime}$ A = np.random.binomial(N, a); B = np.random.binomial(N, b)

Vamos agora passo através para uma única iteração de em que A e B têm obtido em igual número de sucessos (como será a média do caso). Em cada iteração de $\rm simulation_\rm {underlying}$ $\rm simulation_\rm{prime}$ iremos, dado A e B, criar variates aleatórias da distribuição beta para cada grupo. Então, vamos compará-los e descobrir se , produzindo um VERDADEIRO ou FALSO (1 ou 0). No final de uma corrida de $\rm simulation_\rm{underlying}$ ${\rm Beta}_A > {\rm Beta}_B$ $\rm simulation_\rm {underlying}$ , concluímos 15000 iterações e temos 15000 valores VERDADEIRO / FALSO. A média destes irá produzir um valor único de amostragem a distribuição (aproximadamente normal) da proporção de . ${\rm Beta}_A > {\rm Beta}_B$

Só que agora vai seleccionar 5000 valores de A e B. A e B raramente serão exatamente iguais, mas as diferenças típicas no número de sucessos de A e B são diminuídas pelo tamanho total da amostra de A e B. As e Bs típicas renderão mais puxões de sua distribuição amostral de proporções de $\rm simulation_\rm{prime}$ , mas aqueles nas bordas da distribuição A / B também serão puxados. ${\rm Beta}_A > {\rm Beta}_B$

Então, o que, em essência, nós encostar várias execuções sim é uma combinação de amostragem distribuições de para combinações de A e B (com mais puxa a partir das distribuições de amostragem feitas a partir dos valores comuns de um e B que os valores incomuns de A e B). Isso resulta em misturas de distribuições normais. Quando você os combina em um tamanho de compartimento pequeno (como é o padrão para a função de histograma usada e especificada diretamente no código original), você acaba com algo que se parece com uma distribuição uniforme. ${\rm Beta}_A > {\rm Beta}_B$

Considerar:

a = b = 0.5
N = 10
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples,1000)
P.show()

russellpierce
fonte

Portanto, há uma diferença entre o meu e o seu código. Eu amostro A e B em cada loop, você amostra uma vez e calcula S 5000 vezes.

Cam.Davidson.Pilon

A discrepância está nas suas chamadas para rbinom, que retornam um vetor. A chamada subseqüente para rbetadentro replicateé vetorizada, de modo que o loop interno (interno) está usando

diferentes para cada uma das 15000 variáveis aleatórias geradas (agrupando os 5000 finais desde o seu ). Veja para mais. Isso difere do código do @ Cam, com um único

fixo usado em todas as 15000 chamadas de variável aleatória para cada um dos 5000 loops de amostragem ( ).

A

$A$

B

$B$ NSIM = 10000?rbeta

A

$A$

B

$B$ replicate

cardeal

aqui está a saída para os curiosos: imgur.com/ryvWbJO

Cam.Davidson.Pilon

As únicas coisas que sei que são potencialmente pertinentes em um nível conceitual são: a) a distribuição esperada dos resultados é simétrica, b) um tamanho de compartimento 1 é sempre uniforme, c) um tamanho de compartimento 2 para uma distribuição simétrica também sempre parecerá uniforme; d) o número de possíveis distribuições de amostragem que podem ser obtidas dos aumentos com N, e) os valores de S não podem se acumular apenas em 0 ou 1, porque beta é indefinido quando há 0 sucessos em ambos os grupos e f) as amostras são restritas entre 0 e 1.

russellpierce

Apenas como observação, podemos ver que as distâncias entre os centróides das distribuições de amostragem diminuem à medida que os centróides das distribuições de amostragem se afastam de 0,5 (provavelmente relacionado ao ponto f acima). Esse efeito tende a neutralizar a tendência das altas frequências de observações para os sucessos quase iguais mais comuns nos casos do grupo A e do grupo B. No entanto, fornecer uma solução matemática para saber por que isso é ou por que deve gerar distribuições normais para determinados tamanhos de lixeira não está nem perto do meu território.

russellpierce

$N$ $O(1/N)$

Como planejamos usar aproximações normais, prestaremos atenção às expectativas e variações das variáveis:

As Binomial $(N, p)$ variates, $n_A$ and $n_B$ have expectations of $pN$ and variances of $p(1-p)N$ . Consequently $\alpha=n_A/N$ and $\beta=n_B/N$ have expectations of $p$ and variance $p(1-p)/N$ .
As a Beta $(n_A+1, N+1-n_A)$ variate, $P_A$ has an expectation of $(n_A+1)/(N+2)$ and a variance of $(n_A+1)(N+1-n_A) / [(N+2)^2(N+3)]$ . Approximating, we find that $P_A$ has an expectation of

$E (P_{A}) = α + O (1 / N)$ $\mathbb{E}(P_A) = \alpha+O(1/N)$
and a variance of

$Var (P_{A}) = α (1 - α) / N + O (1 / N^{2}),$ $\text{Var}(P_A) = \alpha(1-\alpha)/N + O(1/N^2),$
with similar results for $P_B$ .

Let us therefore approximate the distributions of $P_A$ and $P_B$ with Normal $(\alpha, \alpha(1-\alpha)/N)$ and Normal $(\beta,\beta(1-\beta)/N)$ distributions (where the second parameter designates the variance). The distribution of $P_A-P_B$ consequently is approximately Normal; to wit,

P_{A} - P_{B} \approx Normal (α - β, \frac{α (1 - α) + β (1 - β)}{N}) .

$P_A-P_B \approx \text{Normal}\left(\alpha-\beta, \frac{\alpha(1-\alpha) + \beta(1-\beta)}{N}\right).$

For very large $N$ , the expression $\alpha(1-\alpha) + \beta(1-\beta)$ will not vary appreciably from $p(1-p)+p(1-p)=2p(1-p)$ except with very low probability (another neglected $O(1/N)$ term). Accordingly, letting $\Phi$ be the standard normal CDF,

Pr (P_{A} > P_{B}) = Pr (P_{A} - P_{B} > 0) \approx Φ (\frac{α - β}{\sqrt{2 p (1 - p) / N}}) .

$\Pr(P_A\gt P_B) =\Pr(P_A-P_B\gt 0) \approx \Phi\left(\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}\right).$

But since $\alpha-\beta$ has zero mean and variance $2p(1-p)/N,$ $Z=\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}$ is a standard Normal variate (at least approximately). $\Phi$ is its probability integral transform; $\Phi(Z)$ is uniform.

whuber
fonte

I'mn with you up until

P_{A} - P_{B} \approx N o r m a l

$P_A - P_B \approx Normal$ ... then you go off another direction that I didn't quite follow. Is

Φ

$\Phi$ defined twice, once as the standard normal CDF and then as the probability integral transform? I'm hoping you can expand your description around these steps and relate them to the initial code/problem. Maybe loop back around and restate which specific parameters produce the uniform result.

russellpierce

@rpierce (1) The difference

P_{A} - P_{B}

$P_A-P_B$ is approximately normal because

P_{A}

$P_A$ and

P_{B}

$P_B$ are independent and each is approximately normal. The mean is the difference of the means and the variance is the sum of the variances. (2) The probability integral transform is the CDF: it is the case for any random variable

X

$X$ with continuous distribution

F

$F$ , that

F (X)

$F(X)$ is uniform.

whuber

Oh I got 1, it was the stuff after it where I got lost. This will be mindbogglingly dumb, but why is

P r (P_{A} > P_{B})

$Pr(P_A>P_B)$ the same as the CDF?

russellpierce

@rpierce That follows rather directly from the definition, but there's a slight twist in which the symmetry of the Normal distribution is invoked. We're dealing with a Normal variate

X = P_{A} - P_{B}

$X = P_A-P_B$ assumed to have an expectation of

μ = α - β

$\mu=\alpha-\beta$ and variance

σ^{2} = 2 p (1 - p) / N

$\sigma^2 = 2p(1-p)/N$ . Standardizing

X

$X$ , it is natural to rewrite the probability as

Pr (X > 0) = Pr ((X - μ) / σ > (0 - μ) / σ) = 1 - Φ (- μ / σ) = Φ (μ / σ) .

$\Pr(X\gt 0) = \Pr((X-\mu)/\sigma \gt (0-\mu)/\sigma) = 1-\Phi(-\mu/\sigma) = \Phi(\mu/\sigma).$

whuber

@whuber this is pretty amazing. You are a wonderful teacher. I appreciate both yours and rpierce's answer, I'll still give him credit as it did solve our problem, and you have shown why the behaviour occurs. Ty!

Cam.Davidson.Pilon