Estimativa de máxima verossimilhança EM para distribuição Weibull

24

Nota: Estou postando uma pergunta de um ex-aluno meu incapaz de postar por conta própria por motivos técnicos.

Dada uma amostra iid de uma distribuição Weibull com pdf existe uma representação variável ausente útil e, portanto, um algoritmo EM (maximização de expectativa) associado que pode ser usado para encontrar o MLE de , em vez de usar diretamente otimização numérica? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

optimization missing-data expectation-maximization weibull gumbel Xi'an
fonte

2

Existe alguma censura?

Ocram

2

O que há de errado com newton rhapson?

probabilityislogic

2

@probabilityislogic: nada está errado com nada! Meu aluno gostaria de saber se existe uma versão EM, isso é tudo ...

Xi'an

11

Você poderia dar um exemplo do que está procurando em um contexto diferente e mais simples, por exemplo, talvez com observações de uma variável aleatória gaussiana ou uniforme? Quando todos os dados são observados, eu (e alguns dos outros pôsteres, com base em seus comentários) não vejo como o EM é relevante para sua pergunta.

ahfoss 15/01

11

@probabilityislogic Acho que você deveria ter dito: "Oh, você quer dizer que deseja usar Newton Raphson?". Weibulls são famílias regulares ... Eu acho, então as soluções ML são únicas. Portanto, EM não tem nada para "E" terminar, então você está apenas "M" ing ... e encontrar raízes das equações de pontuação é a melhor maneira de fazer isso!

AdamO 20/08/14

7

Eu acho que a resposta é sim, se eu entendi a pergunta corretamente.

Escreva . Em seguida, um tipo de iteração do algoritmo EM, começando com, por exemplo, , é $z_i = x_i^k$ $\hat k = 1$

E passo: ${\hat z}_i = x_i^{\hat k}$
Etapa M: $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Este é um caso especial (o caso sem censura e sem covariáveis) da iteração sugerida para modelos de riscos proporcionais de Weibull por Aitkin e Clayton (1980). Também pode ser encontrado na Seção 6.11 de Aitkin et al (1989).

Aitkin, M. e Clayton, D., 1980. O ajuste de distribuições exponenciais, Weibull e de valor extremo a dados complexos de sobrevivência censurada usando GLIM. Estatística Aplicada , pp.156-163.
Aitkin, M., Anderson, D., Francis, B. e Hinde, J., 1989. Statistical Modeling in GLIM . Imprensa da Universidade de Oxford. Nova york.

DavidF
fonte

Muito obrigado David! Tratar como a variável que faltava nunca passou pela minha cabeça ...!

x_{i}^{k}

$x_i^k$

Xi'an

7

O Weibull MLE é apenas numericamente solucionável:

Deixe com .

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1) Função de probabilidade :

L_{\hat{x}} (λ, β) = \prod_{i = 1}^{N} f_{λ, β} (x_{i}) = \prod_{i = 1}^{N} \frac{β}{λ} {(\frac{x_{i}}{λ})}^{β - 1} e^{- {(\frac{x_{i}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β}} \prod_{i = 1}^{N} x_{i}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

função log-Probabilidade :

ℓ_{\hat{x}} (λ, β) := \ln L_{\hat{x}} (λ, β) = N \ln β - N β \ln λ - \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β} + (β - 1) \sum_{i = 1}^{N} \ln x_{i}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) Problema no MLE : 3) Maximização por alunos: Segue-se:

\begin{aligned} max_{(λ, β) \in R^{2}} & ℓ_{\hat{x}} (λ, β) \\ s.t. λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{i = 1}^{N} \ln (\frac{x_{i}}{λ}) e^{β \ln (\frac{x_{i}}{λ})} + \sum_{i = 1}^{N} \ln x_{i} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

Conectando na segunda condição de gradiente 0: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{i = 1}^{N} x_{i}^{β^{*}} \ln x_{i}}{\sum_{i = 1}^{N} x_{i}^{β^{*}}} - \bar{\ln x}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

Essa equação é apenas numericamente solucionável, por exemplo, algoritmo de Newton-Raphson. pode então ser colocado em para concluir o estimador de ML para a distribuição Weibull. $\hat{\beta}^*$ $\lambda^*$

emcor
fonte

11

Infelizmente, isso não parece responder à pergunta de maneira discernível. O OP está muito ciente de Newton-Raphson e abordagens relacionadas. A viabilidade da NR de forma alguma impede a existência de uma representação de variável ausente ou algoritmo EM associado. Na minha opinião, a questão não se preocupa em nada com soluções numéricas, mas sim em busca de insights que podem se tornar aparentes se uma abordagem interessante de variável ausente for demonstrada.

cardeal

@ cardinal Uma coisa é dizer que havia apenas solução numérica e outra é mostrar que há apenas solução numérica.

Emcor

5

Caro @emcor, acho que você pode estar entendendo mal o que a pergunta está fazendo. Talvez revisar a outra resposta e o fluxo de comentários associado seja útil. Felicidades.

cardeal

@ cardinal Concordo que não é uma resposta direta, mas são as expressões exatas para o MLE, por exemplo, podem ser usadas para verificar o EM.

emcor 22/09/14

4

Embora essa seja uma pergunta antiga, parece que há uma resposta em um artigo publicado aqui: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

Neste trabalho, a análise de dados censurados por intervalos, com a distribuição Weibull como a distribuição vitalícia subjacente, foi considerada. Supõe-se que o mecanismo de censura seja independente e não informativo. Como esperado, os estimadores de probabilidade máxima não podem ser obtidos de forma fechada. Em nossos experimentos de simulação, observa-se que o método de Newton-Raphson pode não convergir muitas vezes. Um algoritmo de maximização de expectativa foi sugerido para calcular os estimadores de probabilidade máxima e converge quase o tempo todo.

user3204720
fonte

11

Você pode postar uma citação completa do artigo no link, caso ele morra?

gung - Restabelece Monica

11

Este é um algoritmo EM, mas não faz o que acredito que o OP deseja. Em vez disso, a etapa E imputa os dados censurados, após o que a etapa M usa um algoritmo de ponto fixo com o conjunto de dados completo. Portanto, o M-step não está no formato fechado (que eu acho que é o que o OP está procurando).

Cliff AB

11

@CliffAB: obrigado pelo link (+1), mas na verdade o EM é naturalmente induzido neste artigo pela parte de censura. Meu ex-aluno estava procurando uma otimização de probabilidade simples, sem censura, do Weibull via EM.

Xi'an

-1

Nesse caso, os estimadores MLE e EM são equivalentes, já que o estimador MLE é na verdade apenas um caso especial do estimador EM. (Estou assumindo uma estrutura freqüentista em minha resposta; isso não é verdade para EM em um contexto bayesiano em que estamos falando sobre os MAPs). Como não há dados ausentes (apenas um parâmetro desconhecido), a etapa E simplesmente retorna a probabilidade do log, independentemente da sua escolha de . A etapa M maximiza a probabilidade do log, produzindo o MLE. $k^{(t)}$

O EM seria aplicável, por exemplo, se você tivesse observado dados de uma mistura de duas distribuições Weibull com os parâmetros e , mas você não sabia de qual dessas duas distribuições vinha cada observação. $k_1$ $k_2$

ahfoss
fonte

6

Eu acho que você pode ter interpretado mal o ponto da pergunta, que é: Existe alguma interpretação de variável ausente da qual se obteria a probabilidade Weibull dada (e que permitiria a aplicação de um algoritmo semelhante ao EM)?

cardeal

4

A declaração da pergunta no post de @ Xi'an é bastante clara. Acho que a razão pela qual não foi respondida é porque qualquer resposta provavelmente não é trivial. (É interessante, então eu gostaria de ter mais tempo para pensar sobre isso.) De qualquer forma, seu comentário parece trair um mal-entendido do algoritmo EM. Talvez o seguinte sirva de antídoto:

cardeal

6

Seja que é a função de densidade normal padrão. Seja . Com iid uniforme padrão, pegue . Então, é uma amostra de um modelo de mistura gaussiano. Podemos estimar os parâmetros por (força bruta) máxima verossimilhança. Faltam dados no nosso processo de geração de dados? Não . Possui uma representação de variável latente, permitindo o uso de um algoritmo EM? Sim absolutamente .

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

cardeal

4

Minhas desculpas @cardinal; Acho que não entendi duas coisas sobre o seu último post. Sim, no problema do GMM, você pode pesquisar por meio de uma abordagem ML de força bruta. Além disso, agora vejo que o problema original procura uma solução que envolva a introdução de uma variável latente que permita uma abordagem EM para estimar o parâmetro na densidade fornecida . Um problema interessante. Existem exemplos de uso de EM como este em um contexto tão simples? A maior parte da minha exposição ao EM foi no contexto de problemas de mistura e imputação de dados.

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

ahfoss 23/01

3

@ahfoss: (+1) ao seu último comentário. Sim! Você entendeu. Como exemplos: (i) aparece em problemas de dados censurados, (ii) aplicações clássicas como modelos ocultos de Markov, (iii) modelos simples de limiares como modelos probit (por exemplo, imagine observar o latente em vez de Bernoulli ), (iv) estimando componentes de variância em modelos de efeitos aleatórios unidirecionais (e modelos mistos muito mais complexos) e (v) encontrando o modo posterior em um modelo hierárquico bayesiano. O mais simples é provavelmente (i) seguido por (iii).

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

cardeal

Estimativa de máxima verossimilhança EM para distribuição Weibull

Respostas: