O que acontece com a taxa de probabilidade à medida que mais e mais dados são coletados?

11

Deixe- f , g e h ser densidades e suponha que você tem xih , iN . O que acontece com a razão de verossimilhança

i=1nf(xi)g(xi)
comon? (Ele converge? Para quê?)

Por exemplo, podemos assumir h=g . O caso geral também é de interesse.

Olivier
fonte
Possível duplicata da divergência
Xian
4
@ Xi'an. Eu acho que adicionar essa pergunta ao SE permite que a conexão seja estabelecida entre as perguntas da resposta. Embora possa haver semelhanças de respostas, as perguntas não são as mesmas.
John
1
Obrigado pelo link. A pergunta não é duplicada, embora as respostas à minha pergunta possam envolver a divergência Kullback-Leibler.
Olivier

Respostas:

15

Se alguém pegar o logaritmo deste produto, e a transforma em uma média ˉ r n=1

r=logi=1nf(xi)g(xi)=i=1nlogf(xi)g(xi)
a lei dos grandes números se aplica, portanto, obtém-se a convergência quase certa ˉ r n a.s. Eh[logf(X)
r¯n=1ni=1nlogf(xi)g(xi)
assumindo que esta integral esteja bem definida [é fácil encontrar contra-exemplos].
r¯na.s.Eh[logf(X)g(X)]=Xlogf(x)g(x)h(x)dx

fghμ1μ2

Xlogf(x)g(x)h(x)dx
X{(xμ1)2(xμ22)}φ(x)dx=μ12μ22.

i=1nf(xi)h(xi)
xih(x)
i=1nf(xi)g(xi)
gfhxih(x))
Xi'an
fonte
g=h
1
f=gf=hghg=hfhfhfgghfgh
h
1
r=nrn
0

Zn=inp(x)q(x)

Wn=1nlog(Zn)=1ninlog(p(x)q(x))
limnWn=Eq(x)[log(p(x)q(x))]=Xlog(p(x)q(x))q(x)dx

Como e que ,log(a)<a1 a>0 a1p(x)q(x)>0p(x)q(x)

WnXlog(p(x)q(x))q(x)dx<X(p(x)q(x)1)q(x)dx=Xp(x)dxXq(x)dx=11=0
Isso nos dá
limnWn<0limn1nlog(Zn)<0limnn1nlog(Zn)=limnlog(Zn)=limnZn=0 

bgao
fonte