Qual é o impacto da duplicação de um tamanho de amostra em um valor-p

Supondo que seja uma relação subjacente entre duas variáveis ​​em uma regressão OLS [teste de hipótese nula], qual é o impacto no valor p de duplicar o tamanho da amostra? (supondo que a amostra inicial seja representativa da população e a amostra subsequente também seja representativa).

Obviamente, estou ciente de que, enquanto houver um relacionamento subjacente, o aumento do tamanho da amostra deve reduzir o valor de p, mas estou interessado em entender melhor a natureza do relacionamento entre p e n.

Para o teste T, temos regras como "Dobrar o tamanho da amostra aumenta a estatística do teste em $\sqrt{2}$ ". Isso pode fazer você pensar que existe uma relação simples entre tamanho da amostra e valor de p.

De fato, a relação entre o tamanho da amostra e o valor p depende da relação entre o tamanho da amostra e a estatística do teste, e a relação entre a estatística do teste e o valor p. Esses relacionamentos serão diferentes para cada teste.

Para o caso mais simples, o teste Z unilateral, podemos ver qual é essa relação. Suponha uma variável aleatória$X$ tem média $\mu$ e variação $\sigma^2$. Suponha que estamos testando se a média de$X$ é significativamente diferente de $\nu$. A estatística de teste$Z$ é $\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$.

O valor p é igual a um menos o CDF do $Z$ estatística (isso pressupõe que a diferença entre médias é positiva, um argumento semelhante funciona se a diferença for negativa).

Para a distribuição normal, o CDF é $\Phi(t)=0.5+0.5\cdot erf(\frac{x-\mu_t}{\sigma_t \sqrt{2}})$. Onde erf (x) é a função de erro.

Sob a hipótese nula de igual significa o $Z$ estatística tem uma média $0$ e variação $1$. A distribuição real de$Z$ tem uma média de $\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$ e variação $1$.

O tamanho do efeito da diferença entre as médias é $\frac{(\bar{x}-\nu)}{\sigma}$. Chame o tamanho do efeito$b$, então o valor esperado de $Z$ é $b\sqrt{n}$.

Para $Z$ o CDF é $\Phi(z)=0.5+0.5\cdot erf(\frac{z}{\sqrt{2}})$. Onde erf (x) é a função de erro.

Claro que o $Z$ estatística é uma variável aleatória, aqui vamos ver a relação entre o tamanho da amostra e o valor p para o valor esperado de $Z$.

Daqui resulta que o CDF do $Z$ estatística é $\Phi(z)=0.5+0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

Essa é a relação entre o valor de p e o tamanho da amostra

$p=0.5-0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

O relacionamento varia de acordo com o valor de $n$. Para muito grande$n$podemos usar uma expansão em série para ver o comportamento limitador. De acordo com o wolfram alpha, isso é:

$\lim_{n \to \infty}p = e^{-0.5b^2n} \left(\frac{1}{eb\sqrt{n}}+O\left(\frac{1}{(b\sqrt{n})^2} \right) \right)$

Essa é uma decadência bastante rápida em direção a 0. Existe uma grande dependência do tamanho do efeito, é claro que se a diferença entre médias for maior, o valor de p diminuirá mais rapidamente à medida que a amostragem melhorar.

Novamente, lembre-se de que isso é apenas para o teste Z e T, não se aplica a outros testes.

Vamos primeiro investigar o efeito no valor t . Podemos então inferir imediatamente o efeito no valor-p.

Talvez isso seja melhor ilustrado por um exemplo de simulação bem escolhido, que ilustra os recursos mais salientes. Desde que estamos olhando$H_0$ sendo falso (e estamos considerando essencialmente as propriedades relacionadas à energia), faz sentido focar em um teste de uma cauda (na direção "correta"), pois olhar para a cauda errada não verá muita ação e não dirá nós muito interesse.

Portanto, aqui temos uma situação (em n = 100) em que o efeito é grande o suficiente para que a estatística às vezes seja significativa. Em seguida, adicionamos à primeira amostra um segundo desenho da mesma distribuição contínua de valores x (aqui uniforme, mas não é crítico para o efeito observado) do mesmo tamanho que o primeiro, levando a uma duplicação do tamanho da amostra, mas inteiramente incluindo a primeira amostra.

O que observamos não é que o valor p diminua, apenas que ele diminua (mais pontos estão acima da linha diagonal do que abaixo dela); podemos ver que a variação nos valores t reduz, então há menos na região de 0. Muitos valores p aumentam. Muitas amostras que eram insignificantes se tornaram significativas quando adicionamos mais dados, mas algumas que foram significativas se tornaram insignificantes.

[Aqui, examinamos a estatística t para o coeficiente de inclinação em uma regressão simples, embora qualitativamente os problemas sejam semelhantes de maneira mais ampla.]

Um gráfico de valores-p em vez de valores-t transmite essencialmente a mesma informação. De fato, se você colocar as marcas nos intervalos corretos nos eixos acima, poderá rotulá-las com valores-p ... mas a parte superior (e a direita) mostrarão valores-p baixos e a parte inferior (/ esquerda) será rotulado com valores-p maiores. [Na verdade, plotar os valores-p esmaga tudo no canto e fica menos claro o que está acontecendo.]

Em geral, quando o respectivo nulo é falsa, esperar decaimento dos valores p como na figura abaixo, onde I relatório de p-valores médios a partir de pouco estudo de simulação para múltiplos de amostras de tamanho n=25variando bb*n=25da bb*n=29*25para um simples linear coeficiente de regressão igual para 0,1 e desvio padrão de erro de$\sigma_u=0.5$.

Como os valores de p são delimitados de baixo por zero, o decaimento deve finalmente se achatar.

O intervalo de confiança de 90% (área sombreada em azul) indica que, além disso, a variabilidade dos valores de p também diminui com o tamanho da amostra.

Evidentemente, quando $\sigma_u$ é menor ou $n$quanto maior, os valores-p serão próximos de zero mais rapidamente ao aumentar bb, para que a aparência do gráfico seja mais plana.

Código:

reps <- 5000
B <- seq(1,30,by=2)
n <- 25

sigma.u <- .5
pvalues <- matrix(NA,reps,length(B))
for (bb in 1:length(B)){
     for (i in 1:reps){
          x <- rnorm(B[bb]*n)
          y <- .1*x + rnorm(B[bb]*n,sd=sigma.u)
          pvalues[i,bb] <- summary(lm(y~x))$coefficients[2,4]     
     }
}
plot(B,colMeans(pvalues),type="l", lwd=2, col="purple", ylim=c(0,.9))
ConfidenceInterval <- apply(pvalues, 2, quantile, probs = c(.1,.9))
x.ax <- c(B,rev(B))
y.ax <- c(ConfidenceInterval[1,],rev(ConfidenceInterval[2,]))
polygon(x.ax,y.ax, col=alpha("blue",alpha = .2), border=NA)