Seja em . Quais são as matrizes de média e covariância de (com o max computado elementar)?
Isso ocorre, por exemplo, porque, se usarmos a função de ativação ReLU dentro de uma rede profunda, e assumirmos através do CLT que as entradas para uma determinada camada são aproximadamente normais, então essa é a distribuição das saídas.
(Tenho certeza de que muitas pessoas já calcularam isso antes, mas não consegui encontrar o resultado listado em nenhum lugar de maneira razoavelmente legível.)
Respostas:
Primeiro, podemos reduzir isso para depender apenas de certos momentos de distribuições normais truncadas univariadas / bivariadas: observe, é claro, que
Usaremos alguns resultados de
Rosenbaum considera e considera o truncamento do evento .
Especificamente, usaremos os três resultados a seguir, his (1), (3) e (5). Primeiro, defina o seguinte:
Agora, Rosenbaum mostra que:
Será útil considerar também o caso especial de (1) e (3) com , isto é, um truncamento 1d:ay=−∞
Agora queremos considerar
Usaremos que são os valores de e quando , .
Agora, usando (*), obtemos e usar (*) e (**) produz de modo que
Para encontrar , precisaremosCov(X+,Y+)
Aqui está um código Python para calcular os momentos:
e um teste de Monte Carlo de que funciona:
o que indica10,000,000
0.000572145310512 0.00298692620286
, indicando que a expectativa e covariância reivindicadas correspondem às estimativas de Monte Carlo (com base em amostras).fonte