Qual é a diferença entre uma probabilidade parcial, probabilidade de perfil e probabilidade marginal?

56

Vejo esses termos sendo usados ​​e continuo confundindo-os. Existe uma explicação simples das diferenças entre eles?

Rob Hyndman
fonte

Respostas:

57

A função de probabilidade geralmente depende de muitos parâmetros. Dependendo da aplicação, geralmente estamos interessados ​​apenas em um subconjunto desses parâmetros. Por exemplo, na regressão linear, o interesse normalmente reside nos coeficientes da inclinação e não na variação do erro.

Indique os parâmetros nos quais estamos interessados ​​como β e os parâmetros que não são de interesse primário como θ . A maneira padrão de abordar o problema de estimativa é maximizar a função de probabilidade para obtermos estimativas de β e θ . Entretanto, como o interesse primário está em β parcial, o perfil e a probabilidade marginal oferecem formas alternativas de estimar β sem estimar θ .

Para ver a diferença, denote a probabilidade padrão por eu(β,θ|dumatuma) .

Máxima verossimilhança

βθeu(β,θ|dumatuma)

Probabilidade parcial

Se pudermos escrever a função de probabilidade como:

eu(β,θ|dumatuma)=eu1 1(β|dumatuma)eu2(θ|dumatuma)

Então, simplesmente maximizamos eu1 1(β|dumatuma) .

Probabilidade do perfil

Se podemos expressar θ como uma função de β então substituímos θ pela função correspondente.

Diga, θ=g(β) . Então, maximizamos:

eu(β,g(β)|dumatuma)

Probabilidade marginal

θθβ

febstar
fonte
2
Observe que a última definição aqui é uma Probabilidade Integrada (ou Bayesiana), não uma Probabilidade Marginal.
Ars
Isso está correto no RHS para probabilidade parcial: "L2 (θ | theta)"?
jpalecek
@ars, você poderia editar a resposta e fornecer a definição de Probabilidade marginal então?
Waldir Leoncio
13

Todos os três são usados ​​ao lidar com parâmetros incômodos na função de probabilidade completamente especificada.

A probabilidade marginal é o método principal para eliminar parâmetros de incômodo na teoria. É uma função de probabilidade verdadeira (ou seja, é proporcional à probabilidade (marginal) dos dados observados).

A probabilidade parcial não é uma probabilidade verdadeira em geral. No entanto, em alguns casos, pode ser tratado como uma probabilidade de inferência assintótica. Por exemplo, nos modelos de riscos proporcionais de Cox, onde ele se originou, estamos interessados ​​nas classificações observadas nos dados (T1> T2> ..) sem especificar o risco da linha de base. Efron mostrou que a probabilidade parcial perde pouca ou nenhuma informação para uma variedade de funções de risco.

A probabilidade do perfil é conveniente quando temos uma função de probabilidade multidimensional e um único parâmetro de interesse. É especificado substituindo o incômodo S por seu MLE em cada T fixo (o parâmetro de interesse), ou seja, L (T) = L (T, S (T)). Isso pode funcionar bem na prática, embora exista um potencial viés no MLE obtido dessa maneira; a probabilidade marginal corrige esse viés.

ars
fonte