OLS é AZUL. Mas e se eu não me importo com imparcialidade e linearidade?

13

O teorema de Gauss-Markov nos diz que o estimador OLS é o melhor estimador linear imparcial para o modelo de regressão linear.

Mas suponha que eu não me importe com linearidade e imparcialidade. Então, existe algum outro estimador (possível não linear / tendencioso) para o modelo de regressão linear que é o mais eficiente sob as premissas de Gauss-Markov ou algum outro conjunto geral de premissas?

É claro que existe um resultado padrão: o OLS em si é o melhor estimador imparcial se, além das suposições de Gauss-Markov, também assumimos que os erros são normalmente distribuídos. Para alguma outra distribuição específica de erros, eu poderia calcular o estimador de probabilidade máxima correspondente.

Mas eu queria saber se existe algum estimador que seja melhor que o OLS em um conjunto relativamente geral de circunstâncias?

Jyotirmoy Bhattacharya
fonte

Respostas:

17

As estimativas não tendenciosas são típicas nos cursos de estatística introdutória porque são: 1) clássicas, 2) fáceis de analisar matematicamente. O limite inferior do Cramer-Rao é uma das principais ferramentas para 2). Longe de estimativas imparciais, é possível melhorar. O trade-viés de variação é um conceito importante nas estatísticas para entender como estimativas tendenciosas podem ser melhores do que estimativas imparciais.

Infelizmente, os estimadores tendenciosos são geralmente mais difíceis de analisar. Na regressão, grande parte da pesquisa nos últimos 40 anos foi sobre estimativa tendenciosa. Isso começou com a regressão da cordilheira (Hoerl e Kennard, 1970). Veja Frank e Friedman (1996) e Burr e Fry (2005) para algumas revisões e idéias.

O tradeoff de variação de polarização se torna mais importante em grandes dimensões, onde o número de variáveis ​​é grande. Charles Stein surpreendeu a todos quando provou que no problema de meios normais a média da amostra não é mais admissível se (ver Stein, 1956). O estimador de James-Stein (James e Stein, 1961) foi o primeiro exemplo de estimador que domina a média da amostra. No entanto, também é inadmissível.p3

Uma parte importante do problema da variação de viés é determinar como o viés deve ser negociado. Não existe um único "melhor" estimador . A escassez tem sido uma parte importante da pesquisa na década passada. Veja Hesterberg et al. (2008) para uma revisão parcial.

Y

vqv
fonte
1
@chl destacou. Ótima visão geral.
Mvctas # 01/11
1
Um dos meus estimadores admissíveis favoritos: um único ponto escolhido arbitrariamente do espaço de parâmetros que não é um valor impossível :)
probabilityislogic
8

Não sei se você está bem com a estimativa de Bayes? Se sim, então, dependendo da função Perda, você pode obter diferentes estimativas da Bayes. Um teorema de Blackwell afirma que as estimativas de Bayes nunca são imparciais. Um argumento teórico da decisão declara que toda regra admissível ((ou qualquer outra regra com a qual ela é comparada) existe um valor do parâmetro para o qual o risco da regra atual é (estritamente) menor que o da regra contra a qual ela é sendo comparada)) é uma regra (generalizada) de Bayes.

Os estimadores de James-Stein são outra classe de estimadores (que podem ser derivados por métodos bayesianos assintoticamente) que são melhores que o OLS em muitos casos.

O OLS pode ser inadmissível em muitas situações e o James-Stein Estimator é um exemplo. (também chamado de paradoxo de Stein).

suncoolsu
fonte
Obrigado pelas indicações. Será necessário acessar a biblioteca para entender tudo.
Jyotirmoy Bhattacharya
1
@ Suncoolsu, essa não é a definição típica de admissibilidade. O que você deu é (muito) mais forte. Um estimador admissível é aquele que não é uniformemente dominado, ou seja, para todas as outras regras com as quais é comparada, existe um valor do parâmetro para o qual o risco da presente regra é (estritamente) menor que o risco da regra contra a qual está sendo comparado. Por outro lado, um estimador inadmissível é aquele que é (fracamente) dominado por algum outro estimador para cada valor do parâmetro e é estritamente dominado por pelo menos um valor pelo mesmo estimador.
cardeal
@ cardinal Yup. Você está certo. Eu vou corrigi-lo.
suncoolsu
@cardeal. Usar matemática é muito mais fácil do que simplificá-la em inglês simples. Mas isso sou só eu. Obrigado pela correção @cardinal
suncoolsu
1
A imparcialidade assintótica do @suncoolsu é muito diferente do sentido usual de "imparcial". Qualquer estimativa razoável deve ser assintoticamente imparcial. Mais uma observação: a declaração sobre estimadores admissíveis não deveria ser o contrário? ou seja, todo estimador admissível é Bayes generalizado.
vqv
4

Há um bom artigo de revisão de Kay e Eldar sobre estimativa tendenciosa com o objetivo de encontrar estimadores com erro quadrado médio mínimo.

Robby McKilliam
fonte