Valor esperado da correlação espúria

Desenhamos $N$ amostras, cada uma do tamanho $n$ , independentemente de uma distribuição Normal $(\mu,\sigma^2)$ .

Das $N$ amostras, escolhemos as 2 amostras que têm a maior correlação (absoluta) de Pearson entre si.

Qual é o valor esperado dessa correlação?

Obrigado [PS Isto não é lição de casa]

Encontrei o seguinte artigo, que trata desse problema: Jiang, Tiefeng (2004). As distribuições assintóticas das maiores entradas das matrizes de correlação de amostras. Os Anais da Probabilidade Aplicada, 14 (2), 865-880

Jiang mostra a distribuição assintótica da estatística , onde ρ i j é a correlação entre o i e o j ésimo vetores aleatórios de comprimento n (com i ≠ j ), é$L_n = \max_{1\leq i<j\leq N} |\rho_{ij}|$$\rho_{ij}$$i$$j$$n$$i\neq j$

onde a = lim n → ∞ n / N existe no papel e N é uma função de n .

Aparentemente, esse resultado é válido para qualquer distribuição de distribuição com um número suficiente de momentos finitos ( Editar: Veja o comentário do @ cardinal abaixo). Jiang ressalta que essa é uma distribuição de valor extremo do Tipo I. A localização e a escala são

O valor esperado da distribuição EV tipo-I é , onde γ indica a constante de Euler. No entanto, como observado nos comentários, a convergência na distribuição não garante, por si só, a convergência dos meios àquela da distribuição limitadora.$\mu + \sigma \gamma$$\gamma$

Se pudéssemos mostrar esse resultado nesse caso, então o valor esperado assintótico de seria$n L_n^2 -4\log n + \log(\log(n))$

Observe que isso daria o valor esperado assintótico da maior correlação ao quadrado, enquanto a pergunta pedia o valor esperado da maior correlação absoluta. Portanto, não 100%, mas perto.

Fiz algumas breves simulações que me levaram a pensar: 1) há um problema com minha simulação (provável), 2) há um problema com minha transcrição / álgebra (também provável) ou 3) a aproximação não é válida para o valores de e N I utilizados. Talvez o OP possa pesar alguns resultados de simulação usando essa aproximação?$n$$N$

Além da resposta fornecida por @jmtroos, abaixo estão os detalhes da minha simulação e uma comparação com a derivação de @ jmtroos da expectativa de Jiang (2004) , ou seja:

Os valores dessa expectativa parecem estar acima dos valores simulados para pequenas $N$ e abaixo para grandes $N$ e eles parecem divergir levemente $N$aumenta. Contudo, as diferenças diminuem para aumentar$n$, como seria de esperar, como o artigo afirma que a distribuição é assintótica. Eu tentei vários$n \in [100,500]$. A simulação abaixo usa$n=200$. Sou bastante novo em R, portanto, quaisquer sugestões ou sugestões para melhorar meu código serão muito bem-vindas.

set.seed(1)

ns <- 500
# number of simulations for each N

n <- 200
# length of each vector

mu <- 0
sigma <- 1
# parameters for the distribution we simulate from

par(mfrow=c(5,5))
x<-trunc(seq(from=5,to=n, length=20))
#vector of Ns

y<-vector(mode = "numeric")
#vector to store the mean correlations

k<- 1
#index for y

for (N in x) {
# loop over a range of N

    dt <- matrix(nrow=n,ncol=N)

    J <- vector(mode = "numeric")
    # vector to store the simulated largest absolute 
    # correlations for each N

    for (j in 1:ns) {
    # for each N, simulated ns times    

      for (i in 1:N) {
        dt[,i] <- rnorm(n,mu,sigma)
      }
      # perform the simulation

      M<-matrix(cor(dt),nrow=N,ncol=N)
      m <- M
      diag(m) <- NA
      J[j] <- max(abs(m), na.rm=TRUE)   
      # obtain the largest absolute correlation
      # these 3 lines came from stackoverflow
  }

    hist(J,main=paste("N=",N, " n=",n, " N(0,1)", "\nmean=",round(J[j],4))) 
    y[k]<-mean(J)
    k=k+1
}

lm1 <- lm(y~log(x))
summary(lm1)

logx_sq=log(x)^2
lm2<-lm(y~log(x)+logx_sq)
summary(lm2)
# linear models for these simulations

# Jiang 2004 paper, computation:

gamma = 0.5772
yy <- vector(mode = "numeric")
yy <- sqrt((2*log((x^2)/(sqrt(8*pi)*n^2)) + 2*gamma-(-4*log(n)+log(log(n))))/n)


plot(x,yy)
# plot the simulated correlations
points(x,y,col='red')
# add the points using the expectation