Existe um estimador imparcial da distância de Hellinger entre duas distribuições?

20

Em um cenário em que se observa X1,,Xn distribuído a partir de uma distribuição com densidade f , gostaria de saber se existe um estimador imparcial (baseado nos Xi ) da distância de Hellinger a outra distribuição com densidade f0 , ou seja,

H(f,f0)={1Xf(x)f0(x)dx}1/2.
Xi'an
fonte
4
Então f0 é conhecido e corrigido. Mas é conhecido ou de uma família paramétrica ou está fazendo isso em uma estrutura não paramétrica com tudo o que você sabe sobre f vindo de sua amostra? Eu acho que faz a diferença ao tentar uma resposta.
Michael R. Chernick
3
@ MichaelChernick: suponha que tudo o que você sabe sobre é a amostra X 1 , , X n . fX1,,Xn
Xi'an
2
Eu não acho que tenha sido calculado (se houver). Se existir, a AIC tem um irmão perdido.
4
Um ataque a este problema parece viável se você assumir e f 0 são discretos. Isso leva a um estimador óbvio (calcule a distância de Hellinger entre o EDF ef 0 ). O bootstrapping (teoricamente, não por meio de simulação!) Nos permitirá lidar com o possível viés, bem como uma maneira de reduzir (ou mesmo eliminar) o viés. Tenho alguma esperança de ter sucesso com a distância ao quadrado, e não com a distância em si, porque é matematicamente mais tratável. A suposição de um f discreto não é problema nas aplicações; o espaço de f discreto é um subconjunto denso de qualquer maneira. ff0f0ff
whuber
2
Lembra-se da prova de Rosenblatt de que não existe um estimador imparcial "fidedigno" de . Podemos superar isso e obter um estimador não-dividido de H ( f , f 0 ) ? Eu não sei. fH(f,f0)
Zen

Respostas:

5

Nenhuma estimador quer de ou de H 2 existe para f a partir de qualquer razoavelmente ampla classe não paramétrico de distribuições.HH2f

Podemos mostrar isso com o argumento lindamente simples de

Bickel e Lehmann (1969). Estimação imparcial em famílias convexas . Os Anais de Estatística Matemática, 40 (5) 1523-1535. ( projeto euclides )

Corrija algumas distribuições , F e G , com as densidades correspondentes f 0 , f e g . Deixe- H ( F ) significam H ( f , f 0 ) , e deixá- H ( X ) ser um estimador de H ( F ) com base em n amostras iid X i ~ F .F0FGf0fgH(F)H(f,f0)H^(X)H(F)nXiF

Suponha-se que H é imparcial para amostras de qualquer distribuição da forma H α : = α F + ( 1 - α ) L . Mas então Q ( α )H^

Mα:=αF+(1α)G.
de modo queQ(α)deve ser um polinómio emαde grau no máximon.
Q(α)=H(Mα)=x1xnH^(X)dMα(x1)dMα(xn)=x1xnH^(X)[αdF(x1)+(1α)dG(x1)][αdF(xn)+(1α)dG(xn)]=αnEXFn[H^(X)]++(1α)nEXGn[H^(X)],
Q(α)αn

Agora, vamos nos especializar em um caso razoável e mostrar que o correspondente não é polinomial.Q

Seja alguma distribuição que tenha densidade constante em [ - 1 , 1 ] : f 0 ( x ) = c para todos | x | 1 . (Seu comportamento fora desse intervalo não importa.) Seja F alguma distribuição suportada apenas em [ - 1 , 0 ] e G alguma distribuição suportada apenas em [ 0 , 1 ] .F0[1,1]f0(x)=c|x|1F[1,0]G[0,1]

Agora queBF:=R

Q(α)=H(mα,f0)=1Rmα(x)f0(x)dx=110cαf(x)dx01c(1α)g(x)dx=1αBF1αBG,
e do mesmo modo paraBG. Observe queBF>0,BG>0para todas as distribuiçõesF,Gque possuem uma densidade.BF:=Rf(x)f0(x)dxBGBF>0BG>0FG

1αBF1αBG is not a polynomial of any finite degree. Thus, no estimator H^ can be unbiased for H on all of the distributions Mα with finitely many samples.

Likewise, because 1αBF1αBG is also not a polynomial, there is no estimator for H2 which is unbiased on all of the distributions Mα with finitely many samples.

Isso exclui praticamente todas as classes de distribuição não paramétricas razoáveis, exceto aquelas com densidades delimitadas abaixo (uma suposição de que as análises não paramétricas às vezes fazem). Você provavelmente poderia matar essas classes também com um argumento semelhante apenas tornando as densidades constantes ou algo assim.

Dougal
fonte
13

Não sei como construir (se existir) um estimador imparcial da distância de Hellinger. Parece possível construir um estimador consistente. Temos alguma densidade conhecida fixaf0 0e uma amostra aleatória X1,,Xn from a density f>0. We want to estimate

H(f,f0)=1Xf(x)f0(x)dx=1Xf0(x)f(x)f(x)dx
=1E[f0(X)f(X)],
where Xf. By the SLLN, we know that
11ni=1nf0(Xi)f(Xi)H(f,f0),
almost surely, as n. Hence, a resonable way to estimate H(f,f0) would be to take some density estimator fn^ (such as a traditional kernel density estimator) of f, and compute
H^=11ni=1nf0(Xi)fn^(Xi).
Zen
fonte
3
@Zen: Good point! I consider this answer as the answer because it made me realise H sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of H^n2, no worries: E[(f0(X)/f(X))2]=1 implies that this estimator has a finite variance.
Xi'an
1
Thanks for the clarification about the variance of the estimator, Xi'an!
Zen
2
Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on k-NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both f and f0, because that's the work I knew about offhand, but I think there are variants for known f0.)
Dougal