Estimativa de distribuição exponencial de ML (com dados censurados)

Na Análise de Sobrevivência, você assume que o tempo de sobrevivência de um rv seja distribuído exponencialmente. Considerando agora que eu tenho "resultados" do do iid rv . Apenas uma parte desses resultados é de fato "plenamente realizada", ou seja, as demais observações ainda estão "vivas". $X_i$ $x_1,\dots,x_n$ $X_i$

Se eu quisesse realizar uma estimativa de ML para o parâmetro de taxa da distribuição, como posso utilizar as observações não realizadas de maneira coerente / apropriada? Eu acredito que eles ainda contêm informações úteis para a estimativa. $\lambda$

Alguém poderia me guiar para a literatura sobre esse tópico? Tenho certeza que existe. No entanto, estou tendo problemas para encontrar boas palavras-chave / termos de pesquisa para o tópico.

maximum-likelihood references survival censoring exponential-family Good Guy Mike
fonte

Então você está dizendo que, das variáveis aleatórias das quais você tem uma medida, digamos que observações representam a duração "finalizada" (porque, as variáveis aleatórias associadas estavam "mortas" no momento da medição), enquanto as demais observações são comprimentos de sobrevivência de variáveis aleatórias que "ainda estavam vivas" no momento da medição? ( )

n

$n$

n_{1} < n

$n_1 < n$

n_{2} < n

$n_2 <n$

n_{1} + n_{2} = n

$n_1+n_2 = n$

Alecos Papadopoulos

este é um modelo truncado, as variáveis aleatórias "vivas" sendo truncadas no momento em que a observação para.

Xi'an

Confira os modelos do Tobit para obter dados truncados e fontes relacionadas (por exemplo, aqui ).

Richard Hardy

Você parece ter dados censurados, como vidas úteis, em que algumas pessoas morreram, mas algumas ainda estão vivas, de tal maneira que você sabe apenas que, digamos, para alguma constante conhecida .

x_{i} > t_{i}

$x_i > t_i$

t_{i}

$t_i$

precisa saber é o seguinte

Cuidado com a diferença algumas vezes sutil entre as duas situações. Não é incomum que o truncamento seja confundido com censura e vice-versa.

Alecos Papadopoulos

Você ainda pode estimar parâmetros usando a probabilidade diretamente. Seja as observações com a distribuição exponencial com rate e desconhecida. A função densidade é , função de distribuição cumulativa e a função de cauda . Suponha que as primeiras observações sejam totalmente observadas, enquanto que para sabemos apenas que para algumas constantes positivas conhecidas $x_1, \dots, x_n$ $\lambda>0$ $f(x;\lambda)= \lambda e^{-\lambda x}$ $F(x;\lambda)=1-e^{-\lambda x}$ $G(x;\lambda)=1-F(x;\lambda) = e^{-\lambda x}$ $r$ $x_{r+1}, \dots, x_n$ $x_j > t_j$ $t_j$ . Como sempre, a probabilidade é a "probabilidade dos dados observados", para as observações censuradas, que são dadas por , então a função de probabilidade total é A função de probabilidade de log torna-se que tem a mesma forma da probabilidade de log para o caso usual e totalmente observado, exceto no primeiro termo em local de . Escrevendo para a média de observações e tempos de censura, o estimador de probabilidade máxima de se torna $P(X_j > t_j) = G(t_j;\lambda)$

L (λ) = \prod_{i = 1}^{r} f (x_{i}; λ) \cdot \prod_{i = r + 1}^{n} G (t_{j}; λ)

$L(\lambda) = \prod_{i=1}^r f(x_i;\lambda) \cdot \prod_{i=r+1}^n G(t_j;\lambda)$

l (λ) = r \log λ - λ (x_{1} + \dots + x_{r} + t_{r + 1} + \dots + t_{n})

$l(\lambda) = r\log\lambda -\lambda(x_1+\dots+x_r+t_{r+1}+\dots+ t_n)$

r \log λ

$r\log\lambda$

n \log λ

$n\log\lambda$

T

$T$

λ

$\lambda$

\hat{λ} = \frac{r}{n T}

$\hat{\lambda}=\frac{r}{nT}$ , que você mesmo pode comparar com o caso totalmente observado.

 EDIT

Para tentar responder à pergunta nos comentários: se todas as observações foram censuradas, ou seja, não esperamos o tempo suficiente para observar qualquer evento (morte), o que podemos fazer? Nesse caso, , então a probabilidade de logar torna-se ou seja, é uma diminuição linear em . Portanto, o máximo deve ser para ! Porém, zero não é um valor válido para o parâmetro de taxa pois não corresponde a nenhuma distribuição exponencial. Devemos concluir que, neste caso, o estimador de probabilidade máxima não existe! Talvez alguém possa tentar construir algum tipo de intervalo de confiança para $r=0$

l (λ) = - n T λ

$l(\lambda) = -nT \lambda$

λ

$\lambda$

λ = 0

$\lambda=0$

λ

$\lambda$

λ

$\lambda$ com base nessa função de probabilidade de log? Para isso, veja abaixo.

Mas, em qualquer caso, a conclusão real dos dados nesse caso é que devemos esperar mais tempo até obter alguns eventos ...

Aqui está como podemos construir um intervalo de confiança (unilateral) para , caso todas as observações sejam censuradas. A função de probabilidade nesse caso é , que tem a mesma forma que a função de probabilidade de um experimento binomial em que obtivemos todos os sucessos, que é (consulte também Intervalo de confiança em torno da estimativa binomial de 0 ou 1 ). Nesse caso, queremos um intervalo de confiança unilateral para no formato . Então, temos um intervalo para , resolvendo . $\lambda$ $e^{-\lambda n T}$ $p^n$ $p$ $[\underset{\bar{}}{p}, 1]$ $\lambda$ $\log p = -\lambda T$

Obtemos o intervalo de confiança para resolvendo para que . Finalmente, isso fornece o intervalo de confiança para : $p$

P (X = n) = p^{n} \geq 0.95 (say)

$P(X=n) = p^n \ge 0.95 ~~~~\text{(say)}$

n \log p \geq \log 0.95

$n\log p \ge \log 0.95$

λ

$\lambda$

λ \leq \frac{- \log 0.95}{n T} .

$\lambda \le \frac{-\log 0.95}{n T}.$

kjetil b halvorsen
fonte

Ao ler a pergunta e a resposta, pensei: "E se todas as observações forem do segundo tipo, para as quais sabemos apenas que , e nenhuma observação foi totalmente observada?" Seria realmente útil incluir este caso também na sua resposta, como uma extensão.

x_{j} > t_{j}

$x_j > t_j$

Alecos Papadopoulos

Estimativa de distribuição exponencial de ML (com dados censurados)

Respostas: