Como obter matriz de covariância para ajuste de regressão restrito?

Existe uma maneira fácil de obter a covariância dos parâmetros a partir de um ajuste de regressão restrito?

Estou usando a função PCLS no pacote MGCV em R para ajustar a regressão restrita, no entanto, estou aberto a outras abordagens. A restrição que estou impondo é que os coeficientes devem ser positivos.

regression covariance Glen
fonte

Qual é o tamanho da sua amostra?

jbowman

Você não está preocupado com o fato de que uma matriz de covariância é improvável que seja uma descrição útil da incerteza de parâmetro para qualquer estimativa ou perto das restrições?

whuber

A amostra é de cerca de 500. @whuber Sim, isso é uma preocupação. E como sei que algumas estimativas estarão próximas das restrições, pode até não fazer sentido pensar em uma matriz de covariância. No entanto, como a função PCLS executa algum tipo de procedimento de otimização, você pensaria que poderia obter a matriz Hessian, que forneceria algumas informações.

Glen

@whuber Sob restrições de não-negatividade, eu calcularia essa matriz de covariância nos coeficientes estimados de autoinicialização que não são apenas zero ... Ou seja, betahat = bootout $ t; betahat [betahat == 0] = NA # ignora os zeros como estão no limite da restrição; vcov = cov (betahat, use = "pairwise.complete.obs"); SEs = sqrt (diag (vcov)) - esta será uma descrição melhor dos parâmetros estimados sob restrições de não-negatividade. Se você simular a partir desta matriz vcov, basta definir valores negativos como zero.

Tom Wenseleers

@ Tom Obrigado. Minha preocupação foi motivada pelo pensamento de que a matriz de covariância pode ser uma má descrição da distribuição da amostra, devido à restrição de fronteira. Talvez, então, um melhor uso de um bootstrap ou outro procedimento de reamostragem não seja para estimar a matriz de covariância, mas para estudar diretamente a distribuição das estimativas de parâmetros.

whuber

Respostas:

No começo, eu usaria uma inicialização muito simples.

Basicamente, algo como se segue:

$(x,y)$
$\hat \beta$
$\hat \beta$
$\hat \beta$
Feito

CarrKnight
fonte

Era isso que eu estava pensando. Você pode elaborar um pouco da etapa 1? Re-amostra com substituição? Ou...?

Macro

(x, y) = {(1, 1); (1, 2); (1, 3)}

$(x,y) = \{(1,1);(1,2);(1,3)\}$

(1, 3); (1, 3); (1, 1)

$(1,3);(1,3);(1,1)$

X

$X$

Y

$Y$

Eu li muito sobre o bootstrap, mas nunca ouvi o termo bootstrap de baunilha. Talvez seja equivalente ao que é chamado de bootstrap comum ou ingênuo. Quanto aos pares de bootstrap versus resíduos de bootstrap, os pares de bootstrap são mais simples, mas o que você quer dizer com agnóstico (não muito dependente do modelo?)?

Michael R. Chernick

@MichaelChernick: Vanilla é um termo coloquial para a versão "regular", "usual" ou "simples" de algo.

cardinal

@ MichaelChernick: Não sei ao certo o quanto de um coloquialismo regional esse uso de baunilha pode ser. (Imaginei que você provavelmente já ouviu isso.) De qualquer forma, o que eu quis dizer (mas não disse claramente) é que tenho quase certeza de que a CarrKnight não estava usando o termo de alguma maneira específica para o bootstrap . :)

cardeal