O que é uma função geradora de momento (MGF)?

Você pode explicar isso em termos leigos e junto com um exemplo simples e fácil?

Por favor, limite o uso de anotações matemáticas formais, tanto quanto possível.

Vamos supor que uma intuição sem equação não seja possível e ainda insistir em resumir a matemática ao essencial para ter uma idéia do que está acontecendo: estamos tentando obter os momentos estatísticos que, após a referência obrigatória à física , definimos como o valor esperado de uma potência de uma variável aleatória. Para uma variável aleatória contínua, o $k$ ésimo momento bruto é por LOTUS :

$$\begin{align}\large \color{red}{\mathbb{E}\left[{X^k}\right]} &= \displaystyle\int_{-\infty}^{\infty}\color{blue}{X^k}\,\,\color{green}{\text{pdf}}\,\,\,dx\tag{1}\end{align}$$

A função geradora de momento ,

$$M_X(t):=\mathbb E\big[e^{tX}\big],$$ é uma maneira de contornar essa integral (Eq.1) , executando:

$$\begin{align} \large \color{blue}{\mathbb{E}\left[e^{\,tX}\right]}&=\displaystyle \int_{-\infty}^{\infty}\color{blue}{e^{tX}}\,\color{green}{\text{pdf}}\, dx\tag{2}\end{align}$$

Por quê? Porque é mais fácil e há uma fantástica propriedade da MGF que pode ser visto através da expansão das série de Maclaurin de $\color{blue}{e^{\,tX}}$

$$e^{tX}=1+\frac{ X }{1!}\, t +\frac{ X^{2} }{2!}t^{2} +\frac{ X^{3} }{3!} t^{3} +\cdots$$

Tomando a expectativa de ambos os lados desta série de potências:

$$\begin{align} M_X(t) &= \color{blue}{\mathbb{E}\left[e^{\,tX}\right]} \\[1.5ex] &=1 + \frac{\color{red}{\mathbb{E} \left[X\right]}}{1!} \, t \, + \frac{\color{red}{\mathbb{E} \left[X^2\right]}}{2!} \, t^2 \, + \frac{\color{red}{\mathbb{E} \left[X^3\right]}}{3!} \, t^3 \, + \cdots\tag{3} \end{align}$$

os momentos aparecem "empoleirados" neste "varal" polinomial, pronto para ser descartado simplesmente diferenciando $k$ vezes e avaliando em zero uma vez que passamos pela integração mais fácil (na eq. (2)) apenas uma vez por todos os momentos! O fato de ser uma integração mais fácil é mais aparente quando o pdf é exponencial.

Para recuperar o $k$ ésimo momento:

$$M_X^{(k)}(0)=\frac{d^k}{dt^k}M_X(t)\Bigr|_{t=0}$$

O fato de, eventualmente, haver uma necessidade de diferenciar o torna um almoço não gratuito - no final, é uma transformação Laplace bilateral do pdf com um sinal alterado no expoente:

$$\mathcal L \{\text{pdf}(x)\}(s) =\int_{-\infty}^{\infty}e^{-sx}\text{pdf}(x) dx$$

de modo que

$$M_X(t)=\mathcal L\{\text{pdf}(x)\}(-s)\tag 4.$$

Com efeito, isso nos dá uma avenida da física para a intuição. A transformação de Laplace está atuando no $\color{green}{\text{pdf}}$ e decompondo-o em momentos. A semelhança com uma transformação de Fourier é inevitável : um FT mapeia uma função para uma nova função na linha real e Laplace mapeia uma função para uma nova função no plano complexo. A transformada de Fourier expressa uma função ou sinal como uma série de frequências, enquanto a transformada de Laplace resolve uma função em seus momentos . De fato, uma maneira diferente de obter momentos é através da transformação de Fourier ( função característica ). O termo exponencial na transformada de Laplace é geralmente da forma $e^{-st}$ com$s=\sigma + i\,\omega$ , correspondendo aosexponenciais reais e sinusoidais imaginários, e produzindo gráficos comoeste:

---

[ Do guia do cientista e do engenheiro para processamento de sinais de Steven W. Smith ]

---

Portanto, a função $M_X(t)$ decompõe o $\text{pdf}$ alguma forma em suas "frequências constituintes" quando $\sigma=0.$ Da eq. (4)

$$\begin{align}\require{cancel} M_X(t)&=\mathbb E\big[e^{-sX}\big]\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-sx}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-(\sigma+i\omega)x}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}\cancel{e^{-\sigma x}}\,\color{red}{e^{-i\omega x}\,\text{pdf}(x)\, dx} \end{align}$$

which leaves us with the improper integral of the part of the expression in red, corresponding to the Fourier transform of the pdf.

In general, the intuition of the Laplace transform poles of a function would be that they provide information of the exponential (decay) and frequency components of the function (in this case, the pdf).

---

In response to the question under comments about the switching from $X^k$ to $e^{tx}$, this is a completely strategic move: one expression does not follow from the other. Here is an analogy: We have a car of our own and we are free to drive into the city every time we need to take care of some business (read, integrating Eq $(1)$ no matter how tough for every separate, single moment). Instead, we can do something completely different: we can drive to the nearest subway station (read, solve Eq $(2)$ just once), and from there use public transportation to reach every single place we need to visit (read, get any $k$ derivative of the integral in Eq $(2)$ to extract whichever $k$-th moment we need, knowing (thanks to Eq $(3)$) that all the moments are "hiding" in there and isolated by evaluating at $0$).

In the most layman terms it's a way to encode all characteristics of the probability distribution into one short phrase. For instance, if I know that MGF of the distribution is

$$M(t)=e^{t\mu+1/2\sigma^2t^2}$$ I can find out the mean of this distribution by taking first term of Taylor expansion: $$\frac d {dt}M(t)|_{t=0}=\mu+\sigma^2t|_{t=0}=\mu$$ If you know what you're doing it's much faster than taking the expectation of the probability function.

Moreover, since this MGF encodes everything about the distribution, if you know how to manipulate the function, you can apply operations on all characteristics of the distribution at once! Why don't we always use MGF? First, it's not in every situation the MGF is the easiest tool. Second, MGF doesn't always exist.

Above layman

Suppose you have a standard normal distribution. You can express everything you know about it by stating its PDF:

$$f(x)=\frac 1 {\sqrt{2\pi}}e^{-x^2/2}$$

You can calculate its moment such as mean and standard deviation, and use it on transformed variables and functions on random normals etc.

You can think of the MGF of normal distribution as an alternative to PDF. It contains the same amount of information. I already showed how to obtain the mean.

Why do we need an alternative way? As I wrote, sometimes it's just more convenient. For instance, try calculating the variance of the standard normal from PDF:

$$\sigma^2=\int_{-\infty}^\infty x^2\frac 1 {\sqrt{2\pi}}e^{-x^2/2} dx=?$$ It's not that difficult, but it's much easier to do it with MGF $M(t)=e^{t^2/2}$: $$\sigma^2=\frac {d^2} {dt^2}M(t)|_{t=0}=\frac d {dt} t |_{t=0}=1$$