Exemplo de um estimador inconsistente de máxima verossimilhança

13

Estou lendo um comentário em um artigo, e o autor afirma que, às vezes, mesmo que os estimadores (encontrados por ML ou quase-probabilidade máxima) possam não ser consistentes, o poder de um teste de razão de verossimilhança ou razão de quase-verossimilhança ainda pode convergir para 1 como o número de dados observados tende ao infinito (consistência do teste). Como e quando isso acontece? Você conhece alguma bibliografia?

Um velho no mar.
fonte
O que são LR e QLR?
gung - Restabelece Monica
Teste de razão de verossimilhança e razão de quase-verossimilhança;)
Um homem velho no mar.
A energia deve ir para 1 em qualquer lugar, exceto em um ponto. O que você não terá é a taxa de erro nominal do tipo 1.
Glen_b -Reinstar Monica
@Glen_b, você poderia elaborar mais sobre seu comentário? Obrigado;)
Um velho no mar.
@Glen_b, infelizmente não, e o wiki não parece ter uma entrada ...
Um velho no mar.

Respostas:

10

[Acho que esse pode ser um exemplo do tipo de situação em discussão na sua pergunta.]

Existem inúmeros exemplos de estimadores inconsistentes de ML. A inconsistência é comumente vista com uma variedade de problemas de mistura levemente complicados e problemas de censura.

[A consistência de um teste é basicamente a de que o poder do teste para uma hipótese falsa (fixa) aumenta para um como n .]

Radford Neal dá um exemplo em sua entrada no blog 09/08/2008 Estimativa de verossimilhança máxima inconsistente: Um exemplo "comum" . Envolve a estimativa do parâmetro em:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal usa onde eu tenho θ ) onde a estimativa de ML de θ tenderá a 0 como n tθθ0n (e, de fato, a probabilidade pode ser muito maior em um pico próximo de 0 do que no valor verdadeiro para tamanhos de amostra bastante modestos). No entanto, é o caso de um pico próximo ao valor verdadeiro θ , é apenas menor que o próximo a 0.

Imagine agora dois casos relacionados a essa situação:

a) realização de um teste de razão de verossimilhança de contra a alternativa H 1 : θ < θ 0H0:θ=θ0H1:θ<θ0 ;

b) realizar um teste da razão de verossimilhança de contra a alternativa H 1 : θ θ 0 .H0:θ=θ0H1:θθ0

No caso (a), imagine que o verdadeiro (de modo que a alternativa seja verdadeira e 0 seja o outro lado do verdadeiro θ ). Então, apesar de a probabilidade muito próxima de 0 exceder a de θ , a probabilidade de θ excede, no entanto, a probabilidade de θ 0, mesmo em amostras pequenas, e a proporção continuará a crescer como n , em tais de maneira a tornar a probabilidade de rejeição em um teste de razão de verossimilhança ir para 1.θ<θ00θθθθ0n

De fato, mesmo no caso (b), desde que seja fixo e limitado a 0 , também deve ser o caso de a razão de verossimilhança crescer de maneira a tornar a probabilidade de rejeição em um teste de razão de verossimilhança também abordagem 1.θ00

Portanto, isso parece ser um exemplo de estimativa inconsistente de ML, onde o poder de um LRT deve, no entanto, ir para 1 (exceto quando ).θ0=0

[Observe que não há realmente nada disso que ainda não esteja na resposta do whuber, o que eu acho que é um exemplo de clareza e é muito mais simples para entender a diferença entre a consistência do teste e a consistência de um estimador. O fato de o estimador inconsistente no exemplo específico não ser o ML não importa muito para entender essa diferença - e trazer um estimador inconsistente que é especificamente o ML - como tentei fazer aqui - não altera realmente o explicação de qualquer maneira substantiva. O único ponto real do exemplo aqui é que acho que ele aborda sua preocupação em usar um estimador de ML.]

Glen_b -Reinstate Monica
fonte
Obrigado Glen pela sua resposta. Ainda tenho uma pergunta. O fato é que, geralmente, na prova de que a distribuição limitadora do LRT seja qui-quadrado, supõe-se que os estimadores de ML sejam consistentes. No seu caso, como você justificaria que uma taxa de probabilidade crescente fará com que a probabilidade de rejeição vá para 1, quando a distribuição limitadora é desconhecida? Ou é conhecido?
Um velho no mar.
Tudo o que você precisa para que a estatística do teste da razão de verossimilhança cresça sem limites é que a probabilidade no valor no numerador cresça mais rapidamente do que a do denominador. Meu entendimento da discussão vinculada foi que Neal estava implicando, mas não fiz nenhuma verificação real dos detalhes. Eu não acho que haja uma boa razão para afirmar que o teste teria a distribuição qui-quadrado; minha suposição do que pouca informação que você deu na questão era que o teste descrito estava sendo feito como se fosse asymptotically qui-quadrado, mas ... (CTD)θ
Glen_b -Reinstate Monica
(ctd) ... você teria que perguntar ao autor do comentário que você descreveu se era isso que eles queriam dizer.
Glen_b -Reinstala Monica
Na verdade, o que eu disse não está certo, pois é possível que o numerador cresça mais rápido que o denominador, mas a proporção não cresça sem limites (no sentido de que a proporção dos dois pode crescer, mas é limitada). Eu deveria ter dito algo como "suficientemente mais rápido".
Glen_b -Reinstala Monica
8

(Xn)(μ,1)

T(x1,,xn)=1+x¯=1+1ni=1nxn.

The distribution of T(X1,,Xn)=1+X¯ is Normal(μ+1,1/n). It converges to μ+1μ, showing it is inconsistent.

In comparing a null hypothesis μ=μ0 to a simple alternative, say μ=μA, the log likelihood ratio will be exactly the same as the LLR based on X¯ instead of T. (In effect, T is useful for comparing the null hypothesis μ+1=μ0+1 to the alternative hypothesis μ+1=μA+1.) Since the test based on the mean has power converging to 1 for any test size α>0 and any effect size, the power of the test using T itself also converges to 1.

whuber
fonte
thank your for your interest in this question. How can we in a more general setting, be sure of the consistency of the test? I was looking for a more general answer, and not a specific case. And also some bibliography if available. Thanks ;)
An old man in the sea.
Also, I maybe wrong, but the estimator T doesn't seem to be the ML estimator. The question is «when do we have test consistency, when the ML estimators, or the maximum quasilikelihood estimators are not consistent?»
An old man in the sea.
I edited the question, since it might not had clearly what I wanted. Sorry ;)
An old man in the sea.