MLE sempre significa que sabemos o PDF subjacente de nossos dados e EM significa que não?

Eu tenho algumas perguntas conceituais simples que gostaria de esclarecer sobre o MLE (Estimativa de Máxima Verossimilhança) e qual o vínculo que ele tem, se houver, com o EM (Maximização de Expectativas).

Pelo que entendi, se alguém disser "Usamos o MLE", isso significa automaticamente que eles têm um modelo explícito do PDF de seus dados? Parece-me que a resposta é sim. Dito de outra forma, se a qualquer momento alguém disser "MLE", é justo perguntar qual PDF está assumindo. Isso seria correto?

Por fim, no EM, meu entendimento é que, no EM, na verdade não sabemos - ou precisamos saber, o PDF subjacente de nossos dados. Esse é o meu entendimento.

Obrigado.

O método MLE pode ser aplicado nos casos em que alguém conhece a forma funcional básica do pdf (por exemplo, é Gaussian, ou log-normal, ou exponencial, ou o que for), mas não os parâmetros subjacentes; por exemplo, eles não sabem os valores de e σ no pdf: f ( x | μ , σ ) = $\mu$$\sigma$ ou qualquer outro tipo de pdf que eles estejam assumindo. O emprego do método de MLE é escolher os melhores valores (ou seja, mais plausíveis) para os parâmetros desconhecidos, tendo em conta as medições de dados particularesx1,x2,x3,. .

$$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$$ $x_{1}, x_{2}, x_{3}, ...$que foram realmente observados. Portanto, para responder à sua primeira pergunta, sim, você sempre tem o direito de perguntar a alguém que formato de pdf ela está assumindo para obter a estimativa de probabilidade máxima; de fato, os valores estimados dos parâmetros que eles informam não são significativos, a menos que primeiro comuniquem esse contexto.

O algoritmo EM, como já o vi aplicado no passado, é mais um tipo de meta-algoritmo, em que alguns dos metadados estão ausentes, e você precisa estimar isso também. Assim, por exemplo, talvez ter uma PDF, que é uma mistura de vários Gaussianas, por exemplo:

$$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$$ $A_{k}$$N$$x_{1}, x_{2}, x_{3}, ...$

$N$$N=1$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=2$$A_{1}$, $A_{2}$, $\mu_{1}$, $\mu_{2}$, $\sigma_{1}$, $\sigma_{2}$). The best fit values that you obtain for ($A_{1}$, $\mu_{1}$, $\sigma_{1}$) in the $N=1$ model can't directly be compared to the best fit values that you obtain for those same parameters in the $N=2$ model, because they are different models with a different number of degrees of freedom.

The role of the EM algorithm is to provide a mechanism for making those types of comparisons (usually by imposing a "complexity penalty" that prefers smaller values of $N$) so that we can choose the best overall value for $N$.

So, to answer your original question, the EM algorithm requires a less precise specification of the form of the pdf; one might say that it considers a range of alternative options (e.g., the option where $N=1$, $N=2$, $N=3$, etc.) but it still requires you to specify something about the basic mathematical form of those options--you still have to specify a "family" of possible pdfs, in some sense, even though you are letting the algorithm decide for you which "member" of the family provides the best fit to the data.

MLE requires knowledge of at least the marginal distributions. When using MLE, we usually estimate the parameters of a joint distribution by making an iid assumption, then factoring the joint distribution as a product of the marginals, which we know. There are variations, but this is the idea in most cases. So MLE is a parametric method.

The EM algorithm is a method for maximizing the likelihood functions that come up as part of a MLE algorithm. It is often (usually?) used for numerical solutions.

Whenever we use MLE, we need at least the marginal distributions, and some assumption about how the joint is related to the marginals (independence, etc.). Therefore both methods rely on knowledge of distributions.