O MLE requer dados iid? Ou apenas parâmetros independentes?

Estimar parâmetros usando a estimativa de máxima verossimilhança (MLE) envolve avaliar a função de verossimilhança, que mapeia a probabilidade da amostra (X) ocorrer para valores (x) no espaço de parâmetros (θ), dada uma família de distribuição (P (X = x | θ ) sobre os valores possíveis de θ (nota: estou certo nisso?) .Todos os exemplos que eu vi envolvem o cálculo de P (X = x | θ) tomando o produto de F (X) onde F é a distribuição com o local o valor para θ e X é a amostra (um vetor).

Como estamos apenas multiplicando os dados, segue-se que os dados são independentes? Por exemplo, não poderíamos usar o MLE para ajustar dados de séries temporais? Ou os parâmetros apenas precisam ser independentes?

A função de verossimilhança é definida como a probabilidade de um evento (conjunto de dados ) como uma função dos parâmetros do modelo$E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Portanto, não há suposição de independência das observações. Na abordagem clássica, não há definição para independência de parâmetros, pois eles não são variáveis ​​aleatórias; alguns conceitos relacionados podem ser identificabilidade , ortogonalidade de parâmetros e independência dos estimadores de máxima verossimilhança (que são variáveis ​​aleatórias).

Alguns exemplos,

(1) Caso discreto . é uma amostra de observações discretas (independentes) com , em seguida,${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Particularmente, se , com conhecido, temos esse$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2) Aproximação contínua . Seja uma amostra de uma variável aleatória contínua , com distribuição e densidade , com erro de medição , isto é, você observa os conjuntos . EntãoX F f ε ( x j - ε , x j + ε ${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Quando é pequeno, isso pode ser aproximado (usando o Teorema do Valor Médio) por$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Para um exemplo com o caso normal, dê uma olhada nisso .

(3) Modelo dependente e Markov . Suponha que seja um conjunto de observações possivelmente dependente e seja a densidade conjunta de ;f ${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Se adicionalmente a propriedade Markov for satisfeita,

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Veja também isso .

(+1) Muito boa pergunta.

Além disso, o MLE significa estimativa de probabilidade máxima (não múltipla), o que significa que você apenas maximiza a probabilidade. Isso não especifica que a probabilidade deve ser produzida pela amostragem do IID.

Se a dependência da amostragem puder ser escrita no modelo estatístico, basta escrever a probabilidade de acordo e maximizá-la como de costume.

O único caso que vale a pena mencionar quando você não assume dependência é o da amostragem gaussiana multivariada (na análise de séries temporais, por exemplo). A dependência entre duas variáveis ​​gaussianas pode ser modelada pelo seu termo de covariância, que você incorpora na probabilidade.

Para dar um exemplo simplista, suponha que você tire uma amostra do tamanho de variáveis ​​Gaussianas correlacionadas com a mesma média e variância. Você escreveria a probabilidade como$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

onde é$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Este não é o produto das probabilidades individuais. Ainda assim, você maximizaria isso com parâmetros para obter o MLE.$(\mu, \sigma, \rho)$

Obviamente, os modelos gaussianos de ARMA possuem uma probabilidade, pois sua função de covariância pode ser derivada explicitamente. Isso é basicamente uma extensão da resposta do gui11ame a mais de 2 observações. A busca mínima no Google produz documentos como este, onde a probabilidade é dada na forma geral.

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ $j$$i$$j$$i$$\epsilon_{ij} \perp u_i$ $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ $y_{ij}$