Valor esperado de uma variável aleatória gaussiana transformada com uma função logística

Tanto a função logística quanto o desvio padrão são geralmente indicados como . Vou usar e para o desvio padrão.$\sigma$$\sigma(x) = 1/(1+\exp(-x))$$s$

Eu tenho um neurônio logístico com uma entrada aleatória cuja média e desvio padrão eu conheço. Espero que a diferença da média possa ser bem aproximada por algum ruído gaussiano. Portanto, com um leve abuso de notação, assuma que produz . Qual é o valor esperado de ? O desvio padrão pode ser grande ou pequeno em comparação com ou . Uma boa aproximação de forma fechada para o valor esperado seria quase tão boa quanto uma solução de forma fechada.$\mu$$s$$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$$\sigma(N(\mu,s^2))$$s$$\mu$$1$

Eu não acho que exista uma solução de formulário fechado. Isso pode ser visto como uma convolução, e a função característica da densidade logística é conhecida ( ), mas não tenho certeza de quanto isso ajuda. A calculadora simbólica inversa não conseguiu reconhecer a densidade em da convolução da densidade da distribuição logística e uma distribuição normal padrão, o que sugere, mas não prova que não há integral elementar simples. Evidência mais circunstancial: em alguns trabalhos sobre a adição de ruído de entrada gaussiano a redes neurais com neurônios logísticos, os trabalhos também não forneceram expressões fechadas.$\pi t ~\text{csch} ~\pi t$$0$

Essa questão surgiu ao tentar entender o erro na aproximação do campo médio nas máquinas Boltzman.

A seguir, o que acabei usando:

Escreva que . Podemos usar uma expansão da série Taylor.X ∼ N ( 0 , s 2$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Existem questões de convergência. A função logística possui um polo onde , então em , ímpar. Divergência não é a mesma coisa que o prefixo é inútil, mas essa aproximação de série pode não ser confiável quando é significativo.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Como , podemos escrever derivadas de como polinômios em . Por exemplo, e . Os coeficientes estão relacionados ao OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

O que você tem aqui é uma variável aleatória que segue uma distribuição logit-normal (ou logistic-normal) (consulte a Wikipedia ), ou seja, . Os momentos da distribuição logit-normal não têm soluções analíticas.$\mbox{logit}[x] \sim N(\mu, s^2)$

Mas é claro que se pode obtê-los via integração numérica. Se você usa R, existe o pacote logitnorm que possui tudo o que você precisa. Um exemplo:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Isso produz:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Portanto, existe até uma função de conveniência que fornecerá diretamente a média e a variação.