Escolha a distribuição de probabilidade para maximizar a função de avaliação (no concurso de previsão de gripe do CDC)

Suponha que você tenha uma variável aleatória discreta com função de massa de probabilidade no suporte . Que função tal que maximiza Para evitar lidar com casos extremos, assuma .$X$$p(x) = P(X=x)$$0,\ldots,n$$q(x)\ge 0$$\sum_{x=0}^n q(x) = 1$

$$E(\log[q(X-1)+q(X)+q(X+1)])?$$ $P(X=0)=P(X=n)=0$

Perguntas relacionadas:

• Eu acredito que o que maximiza a expectativa acima também maximiza pois é monotônico. Isso está correto?$q(x)$$E[q(X-1)+q(X)+q(X+1)]$$\log$
• Alguma coisa pode bater ?$p(x)=q(x)$

Para aqueles que estão interessados, essa pergunta surge da competição CDC Flu Forecasting, onde eles usam o log da soma das probabilidades para o valor-alvo e os valores vizinhos como a função de utilidade para avaliar previsões.

Problema legal! Como a derivação de Xi'an mostra, está relacionada à minimização da divergência de KL de Q para P. Cliff também fornece um contexto importante.

O problema pode ser resolvido trivialmente usando software de otimização, mas não vejo uma maneira de escrever uma fórmula de formulário fechado para a solução geral. Se nunca for , existe uma fórmula intuitiva.$q_i \geq 0$

Quase certamente ideal (embora veja meus exemplos de gráficos no final, ele pode estar próximo). E não é o mesmo problema que . Observe que não é um objetivo equivalente a . Não é uma transformação monotônica. Expectativa é de uma soma eo log vai dentro a soma, então não é uma transformação monotônica da função objetivo.$\mathbf{q} \neq \mathbf{p}$$\max \mathrm{E}[x]$$\max \mathrm{E}[\log(x)]$$x + y$$\log(x) + \log(y)$

Condições KKT (isto é, condições necessárias e suficientes) para uma solução:

Defina e . O problema é: $q_0 = 0$$q_{n+1} = 0$

$$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $q_i$)} & \sum_{i=1}^n p_i \log \left( q_{i-1} + q_i + q_{i+1} \right) \\ \mbox{subject to} & q_i \geq 0 \\ & \sum_{i=1}^n q_i = 1 \end{array} \end{equation}$$

Lagrangiano: Este é um problema de otimização convexo em que a condição de Slater se mantém, portanto, as condições KKT são necessárias e condições suficientes para um ótimo. Condição de primeira ordem:

$$\mathcal{L} = \sum_i p_i \log \left( q_{i-1} + q_i + q_{i+1} \right) + \sum_i \mu_i q_i -\lambda \left( \sum_i q_i - 1\right)$$ $$\frac{p_{i-1}}{q_{i-2} + q_{i-1} + q_{i}} + \frac{p_i}{q_{i-1} + q_i + q_{i+1}} + \frac{p_{i+1}}{q_{i} + q_{i+1} + q_{i+2}} = \lambda - \mu_i$$

complementar: E, claro, . (Parece nos meus testes que mas não vejo imediatamente o porquê.) e são multiplicadores de Lagrange.

$$\mu_i q_i = 0$$ $\mu_i \geq 0$$\lambda = 1$$\mu_i$$\lambda$

Solução se nunca for .$q_i \geq 0$

Então considere a solução

$$p_i = \frac{q_{i-1} + q_i + q_{i+1}}{3} \quad \quad \mu_i = 0 \quad \quad \lambda = 1$$ Conectando-se à condição de primeira ordem, obtemos . Portanto, funciona (desde que e também sejam satisfeitos).$\frac{1}{3} + \frac{1}{3} + \frac{1}{3} = 1$$\sum_i q_i = 1$$q_i \geq 0$

Como escrever o problema com matrizes:

Sejam e vetores. Seja uma matriz diagonal de três bandas de unidades. Por exemplo. para$\mathbf{p}$$\mathbf{q}$$A$$n = 5$

$$A = \left[\begin{array}{ccccc} 1 & 1 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0& 0 \\ 0 & 1 & 1 & 1 & 0 \\0 &0 & 1 & 1&1\\ 0 &0 &0 & 1 & 1 \end{array} \right]$$

O problema pode ser escrito com mais notação matricial:

$$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $\mathbf{q}$)} & \mathbf{p}'\log\left(A \mathbf{q} \right) \\ \mbox{subject to} & q_i \geq 0 \\ & \sum_i q_i = 1 \end{array} \end{equation}$$

Isso pode ser resolvido rapidamente numericamente, mas não vejo um caminho para uma solução limpa de formulário fechado?

A solução é caracterizada por: mas não vejo como isso seja muito útil além de verificar seu software de otimização.

$$A\mathbf{y} = \lambda - \mathbf{u} \quad \quad \mathbf{x} = A \mathbf{q} \quad \quad y_i = \frac{p_i}{x_i}$$

Código para resolvê-lo usando CVX e MATLAB

A = eye(n) + diag(ones(n-1,1),1) + diag(ones(n-1,1),-1);

cvx_begin
 variable q(n)
 dual variable u;
 dual variable l;
 maximize(p'*log(A*q))

 subject to:
  u: q >= 0;
  l: sum(q) <= 1;
cvx_end

Por exemplo. entradas:

p = 0.0724    0.0383    0.0968    0.1040    0.1384    0.1657    0.0279    0.0856    0.2614    0.0095

tem solução:

q = 0.0000    0.1929    0.0000    0.0341    0.3886    0.0000    0.0000    0.2865    0.0979    0.0000

Solução que recebo (azul) quando tenho uma tonelada de caixas, basicamente seguindo o pdf normal (vermelho): Outro problema mais arbitrário:

Muito vagamente, para você obtém , mas se se move em torno de uma tonelada, você obtém algumas coisas complicadas onde a otimização tenta colocar o massa em no bairro de massa, estrategicamente colocando-a entre com massa.$p_{i-1} \approx p_i \approx p_{i+1}$$q_i \approx p_i$$p_i$$q_i$$p_i$$p_i$

Outro ponto conceitual é que a incerteza em sua previsão suavizará efetivamente sua estimativa de , e um mais suave terá uma solução mais próxima de . (Eu acho que está certo.)$p$$p$$q$$p$

Como resolve e quanto a resolver para encontrar a solução para Se a solução para este sistema de equações não pertencer ao simplex , o argumento será encontrado na face do simplex .$\mathbf{q}=\mathbf{p}$

$$\arg\min_\mathbf{q} \sum p_i\log\{ p_i\big/q_i\}$$ $$q_{i-1}+q_i+q_{i+1}=3p_i\qquad i=1,\ldots,n-1$$ $$\arg\max_\mathbf{q} \sum p_i\log\{ p_i\big/(q_{i-1}+q_i+q_{i+1})\}$$ $\mathbb{R}^{n+1}$

Se eu entendi isso corretamente, não acho que isso terá uma solução de formulário fechado. Ou, além disso, é pelo menos uma especialização de um problema que não está na forma fechada.

A razão pela qual digo isso é que é exatamente a probabilidade que aparece no NPMLE para dados censurados por intervalo, sendo a especialização que todos os intervalos têm a forma . Em geral, o NPMLE é o maximizador da função$[X-1, X+1]$

$\sum_{i = 1}^n \log(P(t_i \in [L_i, R_i]) )$

onde é a hora do evento para o sujeito , onde tudo que se sabe é que o evento ocorreu dentro do intervalo . Isso equivale exatamente ao seu problema, com e .$t_i$$i$$[L_i, R_i]$$L_i = X_i-1$$R_i = X_i + 1$

Em geral, isso não está em forma fechada. No entanto, pelo menos um caso especial é; a dos dados de status atuais ou quando todos os intervalos estiverem no formato ou .$[0, c_i]$$[c_i, \infty)$

Dito isto, existem muitos algoritmos para resolver o NPMLE! Você pode ajustar isso usando Ro icenRegpacote de s com a ic_npfunção (nota: eu sou o autor). Certifique-se de definir a opção B = c(1,1), declarando que os intervalos estão fechados.

Note-se que é não o caso em que a função de que maximiza também maximiza . Como um exemplo trivial, suponha Então, e 0, de outro modo, maximiza mas é indefinido para .$q$$E[q(X-1)+ ...]$$E[\log(q(X-1) + ...]$$X_1 = 1, X_2 = 1, X_3 = 10$$q(1) = 1$$E[q(X-1)+ ...]$$E[\log(q(X-1) + ...]$