Qual é a média e a variação de um normal multivariado com 0 censura?

9

Seja em . Quais são as matrizes de média e covariância de (com o max computado elementar)?ZN(μ,Σ)RdZ+=max(0,Z)

Isso ocorre, por exemplo, porque, se usarmos a função de ativação ReLU dentro de uma rede profunda, e assumirmos através do CLT que as entradas para uma determinada camada são aproximadamente normais, então essa é a distribuição das saídas.

(Tenho certeza de que muitas pessoas já calcularam isso antes, mas não consegui encontrar o resultado listado em nenhum lugar de maneira razoavelmente legível.)

Dougal
fonte
Simplificaria sua resposta - talvez muito - observar que você pode obtê-la combinando os resultados de duas perguntas separadas: (1) quais são os momentos de uma distribuição normal truncada e (2) quais são os momentos de uma mistura ? O último é direto e tudo que você precisa fazer é citar resultados para o primeiro.
whuber
@whuber Hmm. Embora eu não tenha dito isso explicitamente, é essencialmente o que faço na minha resposta, exceto que não encontrei resultados para uma distribuição bivariada truncada com média e variância gerais e, portanto, tive que fazer algumas reduções e alterações. Existe alguma maneira de derivar, por exemplo, a covariância sem fazer a quantidade de álgebra que eu tinha que fazer? Certamente não estou afirmando que alguma coisa nesta resposta é nova, apenas que a álgebra era tediosa e propensa a erros, e talvez alguém ache a solução útil.
Dougal
Certo: tenho certeza de que sua álgebra é equivalente ao que eu descrevi, então parece que compartilhamos uma apreciação pela simplificação da álgebra. Uma maneira fácil de reduzir a álgebra é padronizar os elementos diagonais de para a unidade, porque tudo o que faz é estabelecer uma unidade de medida para cada variável. Nesse ponto, você pode conectar diretamente os resultados de Rosenbaum às expressões (simples, óbvias) para momentos de misturas. Se vale a pena simplificar algébrica pode ser uma questão de gosto: sem simplificação, isso leva a um programa de computador simples e modular. Σ
whuber
11
Suponho que alguém possa escrever um programa que calcule momentos diretamente com os resultados de Rosenbaum e se misture adequadamente, e depois os mude e os redimensione de volta ao espaço original. Provavelmente teria sido mais rápido do que eu fiz.
Dougal

Respostas:

7

Primeiro, podemos reduzir isso para depender apenas de certos momentos de distribuições normais truncadas univariadas / bivariadas: observe, é claro, que

E[Z+]=[E[(Zi)+]]iCov(Z+)=[Cov((Zi)+,(Zj)+)]ij,
e porque estamos fazendo transformações coordenadas de certas dimensões de uma distribuição normal, apenas precisa se preocupar com a média e a variação de um normal censurado 1d e a covariância de dois normais censurados 1d.

Usaremos alguns resultados de

S. Rosenbaum (1961). Momentos de uma distribuição normal bivariada truncada . JRSS B, vol 23, pp 405-408. ( jstor )

Rosenbaum considera e considera o truncamento do evento .

[X~Y~]N([00],[1ρρ1]),
V={X~aX,Y~aY}

Especificamente, usaremos os três resultados a seguir, his (1), (3) e (5). Primeiro, defina o seguinte:

qx=ϕ(ax)qy=ϕ(ay)Qx=Φ(ax)Qy=Φ(ay)Rxy=Φ(ρaxay1ρ2)Ryx=Φ(ρayax1ρ2)rxy=1ρ22πϕ(h22ρhk+k21ρ2)

Agora, Rosenbaum mostra que:

(1)Pr(V)E[X~V]=qxRxy+ρqyRyx(3)Pr(V)E[X~2V]=Pr(V)+axqxRxy+ρ2ayqyRyx+ρrxy(5)Pr(V)E[X~Y~V]=ρPr(V)+ρaxqxRxy+ρayqyRyx+rxy.

Será útil considerar também o caso especial de (1) e (3) com , isto é, um truncamento 1d: ay=

(*)Pr(V)E[X~V]=qx(**)Pr(V)E[X~2V]=Pr(V)=Qx.

Agora queremos considerar

[XY]=[μxμy]+[σx00σy][X~Y~]N([μXμY],[σx2ρσxσyρσxσyσy2])=N(μ,Σ).

Usaremos que são os valores de e quando , .

ax=μxσxay=μyσy,
X~Y~X=0Y=0

Agora, usando (*), obtemos e usar (*) e (**) produz de modo que

E[X+]=Pr(X+>0)E[XX>0]+Pr(X+=0)0=Pr(X>0)(μx+σxE[X~X~ax])=Qxμx+qxσx,
E[X+2]=Pr(X+>0)E[X2X>0]+Pr(X+=0)0=Pr(X~ax)E[(μx+σxX~)2X~ax]=Pr(X~ax)E[μx2+μxσxX~+σx2X~2X~ax]=Qxμx2+qxμxσx+Qxσx2
Var[X+]=E[X+2]E[X+]2=Qxμx2+qxμxσx+Qxσx2Qx2μx2qx2σx22qxQxμxσx=Qx(1Qx)μx2+(12Qx)qxμxσx+(Qxqx2)σx2.

Para encontrar , precisaremos Cov(X+,Y+)

E[X+Y+]=Pr(V)E[XYV]+Pr(¬V)0=Pr(V)E[(μx+σxX~)(μy+σyY~)V]=μxμyPr(V)+μyσxPr(V)E[X~V]+μxσyPr(V)E[Y~V]+σxσyPr(V)E[X~Y~V]=μxμyPr(V)+μyσx(qxRxy+ρqyRyx)+μxσy(ρqxRxy+qyRyx)+σxσy(ρPr(V)ρμxqxRxy/σxρμyqyRyx/σy+rxy)=(μxμy+σxσyρ)Pr(V)+(μyσx+μxσyρρμxσy)qxRxy+(μyσxρ+μxσyρμyσx)qyRyx+σxσyrxy=(μxμy+Σxy)Pr(V)+μyσxqxRxy+μxσyqyRyx+σxσyrxy,
e subtraindo obtemos E[X+]E[Y+]
Cov(X+,Y+)=(μxμy+Σxy)Pr(V)+μyσxqxRxy+μxσyqyRyx+σxσyrxy(Qxμx+qxσx)(Qyμy+qyσy).

Aqui está um código Python para calcular os momentos:

import numpy as np
from scipy import stats

def relu_mvn_mean_cov(mu, Sigma):
    mu = np.asarray(mu, dtype=float)
    Sigma = np.asarray(Sigma, dtype=float)
    d, = mu.shape
    assert Sigma.shape == (d, d)

    x = (slice(None), np.newaxis)
    y = (np.newaxis, slice(None))

    sigma2s = np.diagonal(Sigma)
    sigmas = np.sqrt(sigma2s)
    rhos = Sigma / sigmas[x] / sigmas[y]

    prob = np.empty((d, d))  # prob[i, j] = Pr(X_i > 0, X_j > 0)
    zero = np.zeros(d)
    for i in range(d):
        prob[i, i] = np.nan
        for j in range(i + 1, d):
            # Pr(X > 0) = Pr(-X < 0); X ~ N(mu, S) => -X ~ N(-mu, S)
            s = [i, j]
            prob[i, j] = prob[j, i] = stats.multivariate_normal.cdf(
                zero[s], mean=-mu[s], cov=Sigma[np.ix_(s, s)])

    mu_sigs = mu / sigmas

    Q = stats.norm.cdf(mu_sigs)
    q = stats.norm.pdf(mu_sigs)
    mean = Q * mu + q * sigmas

    # rho_cs is sqrt(1 - rhos**2); but don't calculate diagonal, because
    # it'll just be zero and we're dividing by it (but not using result)
    # use inf instead of nan; stats.norm.cdf doesn't like nan inputs
    rho_cs = 1 - rhos**2
    np.fill_diagonal(rho_cs, np.inf)
    np.sqrt(rho_cs, out=rho_cs)

    R = stats.norm.cdf((mu_sigs[y] - rhos * mu_sigs[x]) / rho_cs)

    mu_sigs_sq = mu_sigs ** 2
    r_num = mu_sigs_sq[x] + mu_sigs_sq[y] - 2 * rhos * mu_sigs[x] * mu_sigs[y]
    np.fill_diagonal(r_num, 1)  # don't want slightly negative numerator here
    r = rho_cs / np.sqrt(2 * np.pi) * stats.norm.pdf(np.sqrt(r_num) / rho_cs)

    bit = mu[y] * sigmas[x] * q[x] * R
    cov = (
        (mu[x] * mu[y] + Sigma) * prob
        + bit + bit.T
        + sigmas[x] * sigmas[y] * r
        - mean[x] * mean[y])

    cov[range(d), range(d)] = (
        Q * (1 - Q) * mu**2 + (1 - 2 * Q) * q * mu * sigmas
        + (Q - q**2) * sigma2s)

    return mean, cov

e um teste de Monte Carlo de que funciona:

np.random.seed(12)
d = 4
mu = np.random.randn(d)
L = np.random.randn(d, d)
Sigma = L.T.dot(L)
dist = stats.multivariate_normal(mu, Sigma)

mn, cov = relu_mvn_mean_cov(mu, Sigma)

samps = dist.rvs(10**7)
mn_est = samps.mean(axis=0)
cov_est = np.cov(samps, rowvar=False)
print(np.max(np.abs(mn - mn_est)), np.max(np.abs(cov - cov_est)))

o que indica 0.000572145310512 0.00298692620286, indicando que a expectativa e covariância reivindicadas correspondem às estimativas de Monte Carlo (com base em amostras).10,000,000

Dougal
fonte
você pode resumir quais são esses valores finais? São estimativas dos parâmetros mu e L que você gerou? Talvez imprima esses valores-alvo?
31420 AdamO
Não, os valores de retorno são e ; o que imprimi foi a distância entre os estimadores de Monte Carlo dessas quantidades e o valor calculado. Talvez você possa inverter essas expressões para obter um estimador que corresponda a momentos para e - Rosenbaum realmente faz isso em sua seção 3 no caso truncado - mas não era isso que eu queria aqui. \E(Z+)\Cov(Z+)LμΣ
Dougal