Como você encontra pesos para a regressão de mínimos quadrados ponderados?

Estou um pouco perdido no processo de regressão WLS. Recebi um conjunto de dados e minha tarefa é testar se há uma heterocedência, e, se houver, devo executar a regressão WLS.

Eu realizei o teste e encontrei evidências de heterocedência, por isso preciso executar o WLS. Foi-me dito que o WLS é basicamente a regressão OLS de um modelo transformado, mas estou um pouco confuso sobre encontrar a função de transformação. Eu li alguns artigos que sugeriam que a transformação pode ser função de resíduos quadrados da regressão OLS, mas eu apreciaria se alguém puder me ajudar a seguir o caminho certo.

A regressão de mínimos quadrados ponderados (WLS) não é um modelo transformado. Em vez disso, você está simplesmente tratando cada observação como mais ou menos informativa sobre a relação subjacente entre e $X$$Y$ . Os pontos que são mais informativos recebem mais 'peso' e os que são menos informativos recebem menos peso. Você está certo de que a regressão de mínimos quadrados ponderados (WLS) é tecnicamente válida apenas se os pesos forem conhecidos a priori.

No entanto, a regressão linear (OLS) é bastante robusta contra a heterocedasticidade e, portanto, o WLS também se as suas estimativas estiverem no estádio. Uma regra prática para a regressão do OLS é que ela não é muito afetada pela heterocedasticidade, desde que a variação máxima não seja maior que 4 vezes a variação mínima. Por exemplo, se a variação dos resíduos / erros aumentar com a situação Como resultado, você pode tentar estimar a função que relaciona a variação dos resíduos com os níveis de suas variáveis ​​preditoras. $X$ , você estaria bem se a variação dos resíduos na extremidade alta fosse menor que quatro vezes a variação dos resíduos na extremidade inferior. A implicação disso é que, se seus pesos o levarem a esse intervalo, você estará razoavelmente seguro. É como ferraduras e granadas de mão

Existem vários problemas relacionados a como essa estimativa deve ser feita:

1. Lembre-se de que os pesos devem ser recíprocos da variação (ou o que você usar).

2. $X$$X$

3. $X$plot(model, which=2)$X$ .) Ainda mais robusto pode ser o uso do intervalo interquartil condicional, ou o condicional

4. $X$$X$

5. Obter seus pesos a partir dos resíduos de uma regressão de OLS é razoável porque o OLS é imparcial, mesmo na presença de heterocedasticidade. No entanto, esses pesos dependem do modelo original e podem alterar o ajuste do modelo WLS subsequente. Portanto, você deve verificar seus resultados comparando os betas estimados das duas regressões. Se eles são muito semelhantes, você está bem. Se os coeficientes WLS divergirem dos OLS, você deverá usar as estimativas WLS para calcular os resíduos manualmente (os resíduos relatados do ajuste WLS levarão em consideração os pesos). Depois de calcular um novo conjunto de resíduos, determine os pesos novamente e use os novos pesos em uma segunda regressão WLS. Esse processo deve ser repetido até que dois conjuntos de betas estimados sejam suficientemente semelhantes (mesmo que isso seja uma vez incomum).

Se esse processo o deixa desconfortável, porque os pesos são estimados e dependem do modelo incorreto anterior, outra opção é usar o estimador 'sanduíche' Huber-White . Isso é consistente mesmo na presença de heterocedasticidade, por mais grave que seja, e não depende do modelo. Também é potencialmente menos aborrecido.

Demonstro uma versão simples dos mínimos quadrados ponderados e o uso dos SEs sanduíche na minha resposta aqui: Alternativas à ANOVA unidirecional para dados heterocedásticos .

Ao executar o WLS, você precisa conhecer os pesos. Existem algumas maneiras de encontrá-las, como foi dito na página 191 de Introdução à análise de regressão linear, por Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining. Por exemplo:

1. Experiência ou informação prévia utilizando algum modelo teórico.
2. Usando resíduos do modelo, por exemplo, se ${\rm var}(\varepsilon_i)=\sigma^2x_i$ então podemos decidir usar $w_i=1/x_i$.
3. Se as respostas são a média de $n_i$ observação em cada $x_i$ ou algo parecido ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$, então podemos decidir usar $w_i=n_i$.
4. Em algum momento, sabemos que diferentes observações foram medidas por diferentes instrumentos que possuem alguma precisão (conhecida ou estimada). Nesse caso, podemos decidir usar pesos inversamente proporcionais à variação dos erros de medição.