Qual é a diferença entre uma probabilidade parcial, probabilidade de perfil e probabilidade marginal?

Vejo esses termos sendo usados ​​e continuo confundindo-os. Existe uma explicação simples das diferenças entre eles?

A função de probabilidade geralmente depende de muitos parâmetros. Dependendo da aplicação, geralmente estamos interessados ​​apenas em um subconjunto desses parâmetros. Por exemplo, na regressão linear, o interesse normalmente reside nos coeficientes da inclinação e não na variação do erro.

Indique os parâmetros nos quais estamos interessados ​​como $\beta$ e os parâmetros que não são de interesse primário como $\theta$ . A maneira padrão de abordar o problema de estimativa é maximizar a função de probabilidade para obtermos estimativas de $\beta$ e $\theta$ . Entretanto, como o interesse primário está em $\beta$ parcial, o perfil e a probabilidade marginal oferecem formas alternativas de estimar $\beta$ sem estimar $\theta$ .

Para ver a diferença, denote a probabilidade padrão por $L(\beta, \theta|\mathrm{data})$ .

Máxima verossimilhança

$\beta$$\theta$$L(\beta, \theta|\mathrm{data})$

Probabilidade parcial

Se pudermos escrever a função de probabilidade como:

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

Então, simplesmente maximizamos $L_1(\beta|\mathrm{data})$ .

Probabilidade do perfil

Se podemos expressar $\theta$ como uma função de $\beta$ então substituímos $\theta$ pela função correspondente.

Diga, $\theta = g(\beta)$ . Então, maximizamos:

$$L(\beta, g(\beta)|\mathrm{data})$$

Probabilidade marginal

$\theta$$\theta$$\beta$

Todos os três são usados ​​ao lidar com parâmetros incômodos na função de probabilidade completamente especificada.

A probabilidade marginal é o método principal para eliminar parâmetros de incômodo na teoria. É uma função de probabilidade verdadeira (ou seja, é proporcional à probabilidade (marginal) dos dados observados).

A probabilidade parcial não é uma probabilidade verdadeira em geral. No entanto, em alguns casos, pode ser tratado como uma probabilidade de inferência assintótica. Por exemplo, nos modelos de riscos proporcionais de Cox, onde ele se originou, estamos interessados ​​nas classificações observadas nos dados (T1> T2> ..) sem especificar o risco da linha de base. Efron mostrou que a probabilidade parcial perde pouca ou nenhuma informação para uma variedade de funções de risco.

A probabilidade do perfil é conveniente quando temos uma função de probabilidade multidimensional e um único parâmetro de interesse. É especificado substituindo o incômodo S por seu MLE em cada T fixo (o parâmetro de interesse), ou seja, L (T) = L (T, S (T)). Isso pode funcionar bem na prática, embora exista um potencial viés no MLE obtido dessa maneira; a probabilidade marginal corrige esse viés.