Como fazer uma estimativa, quando apenas estatísticas resumidas estão disponíveis?

Isso é em parte motivado pela pergunta a seguir e pela discussão a seguir.

Suponha que a amostra iid seja observada, . O objetivo é estimar . Mas a amostra original não está disponível. Em vez disso, temos algumas estatísticas da amostra . Suponha que seja fixo. Como estimamos ? Qual seria o estimador de probabilidade máxima neste caso?$X_i\sim F(x,\theta)$$\theta$$T_1,...,T_k$$k$$\theta$

Nesse caso, você pode considerar uma aproximação ABC da probabilidade (e consequentemente do MLE ) sob a seguinte premissa / restrição:

Suposição. O tamanho da amostra original é conhecido.$n$

Esta não é uma suposição absurda, uma vez que a qualidade, em termos de convergência, de estimadores freqüentistas depende do tamanho da amostra, portanto, não é possível obter estimadores arbitrariamente bons sem conhecer o tamanho da amostra original.

A idéia é gerar uma amostra a partir da distribuição posterior de e, para produzir uma aproximação do MLE , você pode usar uma técnica de amostragem importante, como em [1], ou considerar um uniforme anterior em θ, com suporte em um suporte adequado. definido como em [2] .$\theta$$\theta$

Vou descrever o método em [2]. Primeiro de tudo, deixe-me descrever o amostrador ABC.

ABC Sampler

Seja o modelo que gera a amostra, onde θ ∈ Θ é um parâmetro (a ser estimado), T seja uma estatística (uma função da amostra) e T 0 seja a estatística observada, no jargão ABC isso é chamado de estatística sumária , ρ ser uma métrica, π ( θ ) uma distribuição prévia em θ e ε > 0 a tolerância. Em seguida, o amostrador de rejeição ABC pode ser implementado da seguinte maneira.$f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$$\epsilon>0$

1. Amostra de π ( ⋅ ) .$\theta^*$$\pi(\cdot)$
2. Gere uma amostra de tamanho n do modelo f ( ⋅ | θ ∗ ) .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. Calcule .$T^*=T({\bf x})$
4. Se , aceite θ ∗ como uma simulação a partir do posterior de θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Este algoritmo gera uma amostra aproximada da distribuição posterior de dado T ( x ) = T 0 . Portanto, o melhor cenário é quando a estatística T é suficiente, mas outras estatísticas podem ser usadas. Para uma descrição mais detalhada disso, consulte este documento .$\theta$$T({\bf x})=T_0$$T$

Agora, em uma estrutura geral, se alguém usar um uniforme anterior que contenha o MLE em seu suporte, o Máximo a posteriori (PAM) coincidirá com o Estimador de Máxima Verossimilhança (MLE). Portanto, se você considerar um uniforme apropriado antes no ABC Sampler, poderá gerar uma amostra aproximada de uma distribuição posterior cujo MAP coincida com o MLE. O passo restante consiste em estimar este modo. Este problema foi discutido no CV, por exemplo, em "Estimativa computacionalmente eficiente do modo multivariado" .

Um exemplo de brinquedo

Deixe ser uma amostra a partir de um N ( μ , 1 ) e supor que a única informação disponível a partir desta amostra é ˉ x = $(x_1,...,x_n)$$N(\mu,1)$. Sejaρa métrica euclidiana emReϵ=0,001. O código R a seguir mostra como obter um MLE aproximado usando os métodos descritos acima, usando uma amostra simulada comn=100eμ=0, uma amostra da distribuição posterior do tamanho1000, um uniforme anterior paraμon(-0,3,0,3)e um estimador de densidade de kernel para a estimativa do modo da amostra posterior (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Como você pode ver, usando uma pequena tolerância, obtemos uma aproximação muito boa do MLE (que neste exemplo trivial pode ser calculado a partir da estatística, desde que seja suficiente). É importante notar que a escolha da estatística resumida é crucial. Os quantiles geralmente são uma boa opção para a estatística resumida, mas nem todas as opções produzem uma boa aproximação. Pode ser que a estatística resumida não seja muito informativa e, em seguida, a qualidade da aproximação possa ser ruim, o que é bem conhecido na comunidade do ABC.

Atualização: Uma abordagem semelhante foi publicada recentemente em Fan et al. (2012) . Veja esta entrada para uma discussão sobre o papel.

Tudo depende de se ou não a distribuição conjunta dos 's é conhecido. Se for, por exemplo, ( T 1 , … , T k ) ∼ g ( t 1 , … , t k | θ , n ) , você poderá realizar uma estimativa de probabilidade máxima com base nessa distribuição conjunta. Observe que, a menos que ( T 1 , … , T k ) seja suficiente, quase sempre haverá uma probabilidade máxima diferente do que ao usar os dados brutos $T_i$

Se a distribuição conjunta acima com densidade não estiver disponível, a solução proposta pelo Procrastinator é bastante apropriada.$g$

O estimador de probabilidade máxima (freqüentista) é o seguinte:

$F$

A maneira como você realmente maximiza a probabilidade depende principalmente da possibilidade de escrever a probabilidade analiticamente de maneira tratável. Se isso for possível, você poderá considerar algoritmos gerais de otimização (newton-raphson, simplex ...). Se você não tem uma probabilidade tratável, poderá achar mais fácil calcular uma expectativa condicional como no algoritmo EM, que também produzirá estimativas de probabilidade máxima sob hipóteses bastante acessíveis.

Melhor