Estimador de probabilidade máxima de distribuição conjunta, considerando apenas contagens marginais

Seja $p_{x,y}$ uma distribuição conjunta de duas variáveis ​​categóricas $X,Y$ , com $x,y\in\{1,\ldots,K\}$ . Digamos que $n$ amostras foram retiradas dessa distribuição, mas recebemos apenas as contagens marginais, ou seja, para $j=1,\ldots,K$ :

$$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$$

Qual é o estimador de máxima verossimilhança para $p_{x,y}$ , dado $S_j,T_j$ ? Isso é conhecido? Computacionalmente viável? Existem outras abordagens razoáveis ​​para esse problema além de ML?

Esse tipo de problema foi estudado no artigo "Aumento de dados em tabelas de contingência de múltiplas vias com totais marginais fixos", de Dobra et al (2006). Seja denotar os parâmetros do modelo, seja n a tabela de números inteiros não observados para cada par ( x , y ) e seja C ( S , T ) o conjunto de tabelas inteiras cujas contagens marginais sejam iguais ( S , T ) . Então a probabilidade de observar as contagens marginais ( S , T ) é: p $\theta$$\mathbf{n}$$(x,y)$$C(S,T)$$(S,T)$$(S,T)$ onde p ( n | θ ) é a distribuição de amostragem multinomial. Isso define a função de probabilidade para ML, mas a avaliação direta é inviável, exceto para pequenos problemas. A abordagem que eles recomendam é o MCMC, onde você atualiza alternadamente n e

$$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$$ $p(\mathbf{n} | \theta)$$\mathbf{n}$$\theta$amostrando a partir de uma distribuição da proposta e aceitando a alteração de acordo com a taxa de aceitação Metropolis-Hastings. Isso pode ser adaptado para encontrar um máximo aproximado de usando o Monte Carlo EM. $\theta$

Uma abordagem diferente usaria métodos variacionais para aproximar a soma sobre . As restrições marginais podem ser codificadas como um gráfico de fatores e a inferência sobre θ pode ser realizada usando a Propagação de Expectativas.$\mathbf{n}$$\theta$

Para ver por que esse problema é difícil e não admite uma solução trivial, considere o caso . Tomando S como a linha soma e T como a coluna soma, existem duas tabelas de contagens possíveis: [ 0 1 2 0$S=(1,2), T=(2,1)$$S$$T$ Por conseguinte, a função de probabilidade é P(S,T | q)=3 p 12 p 2 21 +6 p 11 p 21 p 22 A MLE para este problema é p x , y = [ 0 1 / 3 2 / 3 0

$$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$$ $$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$$ $$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$$ o que corresponde a assumir a tabela à esquerda. Por outro lado, a estimativa de que você teria ao assumir a independência é que tem um valor de probabilidade menor. $$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$$

Como foi apontado por @Glen_b, isso não é especificado adequadamente. Eu não acho que você possa usar a máxima probabilidade, a menos que possa especificar completamente a probabilidade.

Se você estava disposto a assumir a independência, então o problema é bastante simples (aliás, acho que a solução seria a solução de entropia máxima sugerida). Se você não está disposto nem é capaz de impor uma estrutura adicional ao seu problema e ainda deseja algum tipo de aproximação aos valores das células, pode ser que você possa usar os limites da cópula de Fréchet – Hoeffding . Sem suposições adicionais, não acho que você possa ir mais longe.

Edit: This answer is based on an incorrect assumption that likelihood of the marginal counts given $p_{x,y}$ is only a function of the marginal probabilities $p_x = \sum_y p_{x,y}$ and $p_y = \sum_x p_{x,y}$. I'm still thinking about it.

Wrong stuff follows:

As mentioned in a comment, the problem with finding "the" maximum-likelihood estimator for $p_{x, y}$ is that it's not unique. For instance, consider the case with binary $X, Y$ and marginals $S_1 = S_2 = T_1 = T_2 = 10$. The two estimators

$$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$$

have the same marginal probabilities $p_x$ and $p_y$ in all cases, and hence have equal likelihoods (both of which maximize the likelihood function, as you can verify).

---

Indeed, no matter what the marginals are (as long as two of them are nonzero in each dimension), the maximum likelihood solution is not unique. I'll prove this for the binary case. Let $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ be a maximum-likelihood solution. Without loss of generality suppose $0 < a \le d$. Then $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$ has the same marginals and is thus also a maximum-likelihood solution.

---

If you want to additionally apply a maximum-entropy constraint, then you do get a unique solution, which as F. Tussell stated is the solution in which $X, Y$ are independent. You can see this as follows:

The entropy of the distribution is $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$; maximizing subject to $\sum_x p_{x,y} = p_y$ and $\sum_{y} p_{x,y} = p_x$ (equivalently, $\vec g(p) = 0$ where $g_x(p) = \sum_y p_{x,y} - p_x$ and $g_y(p) = \sum_x p_{x,y} - p_y$) using Lagrange multipliers gives the equation:

$$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$$

All the gradients of each $g_k$ are 1, so coordinate-wise this works out to

$$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$$

plus the original constraints $\sum_x p_{x,y} = p_y$ and $\sum_{y} p_{x,y} = p_x$. You can verify that this is satisfied when $e^{1/2 - \lambda_x} = p_x$ and $e^{1/2 - \lambda_y} = p_y$, giving

$$p_{x,y} = p_xp_y.$$