OLS é AZUL. Mas e se eu não me importo com imparcialidade e linearidade?

O teorema de Gauss-Markov nos diz que o estimador OLS é o melhor estimador linear imparcial para o modelo de regressão linear.

Mas suponha que eu não me importe com linearidade e imparcialidade. Então, existe algum outro estimador (possível não linear / tendencioso) para o modelo de regressão linear que é o mais eficiente sob as premissas de Gauss-Markov ou algum outro conjunto geral de premissas?

É claro que existe um resultado padrão: o OLS em si é o melhor estimador imparcial se, além das suposições de Gauss-Markov, também assumimos que os erros são normalmente distribuídos. Para alguma outra distribuição específica de erros, eu poderia calcular o estimador de probabilidade máxima correspondente.

Mas eu queria saber se existe algum estimador que seja melhor que o OLS em um conjunto relativamente geral de circunstâncias?

As estimativas não tendenciosas são típicas nos cursos de estatística introdutória porque são: 1) clássicas, 2) fáceis de analisar matematicamente. O limite inferior do Cramer-Rao é uma das principais ferramentas para 2). Longe de estimativas imparciais, é possível melhorar. O trade-viés de variação é um conceito importante nas estatísticas para entender como estimativas tendenciosas podem ser melhores do que estimativas imparciais.

Infelizmente, os estimadores tendenciosos são geralmente mais difíceis de analisar. Na regressão, grande parte da pesquisa nos últimos 40 anos foi sobre estimativa tendenciosa. Isso começou com a regressão da cordilheira (Hoerl e Kennard, 1970). Veja Frank e Friedman (1996) e Burr e Fry (2005) para algumas revisões e idéias.

O tradeoff de variação de polarização se torna mais importante em grandes dimensões, onde o número de variáveis ​​é grande. Charles Stein surpreendeu a todos quando provou que no problema de meios normais a média da amostra não é mais admissível se (ver Stein, 1956). O estimador de James-Stein (James e Stein, 1961) foi o primeiro exemplo de estimador que domina a média da amostra. No entanto, também é inadmissível.$p \geq 3$

Uma parte importante do problema da variação de viés é determinar como o viés deve ser negociado. Não existe um único "melhor" estimador . A escassez tem sido uma parte importante da pesquisa na década passada. Veja Hesterberg et al. (2008) para uma revisão parcial.

$Y$

Não sei se você está bem com a estimativa de Bayes? Se sim, então, dependendo da função Perda, você pode obter diferentes estimativas da Bayes. Um teorema de Blackwell afirma que as estimativas de Bayes nunca são imparciais. Um argumento teórico da decisão declara que toda regra admissível ((ou qualquer outra regra com a qual ela é comparada) existe um valor do parâmetro para o qual o risco da regra atual é (estritamente) menor que o da regra contra a qual ela é sendo comparada)) é uma regra (generalizada) de Bayes.

Os estimadores de James-Stein são outra classe de estimadores (que podem ser derivados por métodos bayesianos assintoticamente) que são melhores que o OLS em muitos casos.

O OLS pode ser inadmissível em muitas situações e o James-Stein Estimator é um exemplo. (também chamado de paradoxo de Stein).

Há um bom artigo de revisão de Kay e Eldar sobre estimativa tendenciosa com o objetivo de encontrar estimadores com erro quadrado médio mínimo.