Regressão polinomial ortogonal multivariada?

Como forma de motivar a pergunta, considere um problema de regressão em que procuramos estimar usando as variáveis observadas $Y$ $\{ a, b \}$

Ao fazer a regressão polinomial multivariada, tento encontrar a paramitização ideal da função

f (y) = c_{1} a + c_{2} b + c_{3} a^{2} + c_{4} a b + c_{5} b^{2} + \dots

$f(y)=c_{1}a+c_{2}b+c_{3}a^{2}+c_{4}ab+c_{5}b^{2}+\cdots$

que melhor se ajustam aos dados no sentido menos quadrado.

O problema com isso, porém, é que os parâmetros não são independentes. Existe uma maneira de fazer a regressão em um conjunto diferente de vetores "básicos" ortogonais? Fazer isso tem muitas vantagens óbvias $c_i$

1) os coeficientes não estão mais correlacionados. 2) os valores de a 's si não dependem do grau de coeficientes. 3) Isso também tem a vantagem computacional de poder descartar os termos de ordem superior para uma aproximação mais grosseira, mas ainda precisa, dos dados. $c_i$

Isso é facilmente alcançado no caso de variável única usando polinômios ortogonais, usando um conjunto bem estudado, como os polinômios de Chebyshev. Não é óbvio, no entanto (para mim de qualquer maneira) como generalizar isso! Ocorreu-me que eu poderia alterar os polinômios dos pares de pares, mas não tenho certeza se essa é a coisa matematicamente correta a ser feita.

Sua ajuda é apreciada

regression gabgoh
fonte

E a base tensor-produto de seus polinômios unidimensionais? Parece o que você estava fazendo alusão e eles serão ortogonais.

cardinal

Eu acho que é uma resposta satisfatória como um quesiton :)

gabgoh

Você chegou a algum lugar com isso? Também estou procurando uma solução para a regressão multivariada usando polinômios ortogonais. Obrigado

Confounded

Respostas:

Por uma questão de conclusão (e para ajudar a melhorar as estatísticas deste site, ha), tenho que me perguntar se este documento também não responderia à sua pergunta?

ABSTRATO: Discutimos a escolha da base polinomial para a aproximação da propagação da incerteza por meio de modelos de simulação complexos com capacidade de gerar informações derivadas. Nosso trabalho é parte de um esforço maior de pesquisa em quantificação de incertezas, usando métodos de amostragem aumentados com informações derivadas. A abordagem tem novos desafios em comparação com a regressão polinomial padrão. Em particular, mostramos que uma base polinomial ortogonal multivariada de produto tensorial de grau arbitrário não pode mais ser construída. Fornecemos condições suficientes para a existência de um conjunto ortonormal desse tipo, uma base para o espaço que ele ocupa. Demonstramos os benefícios da base na propagação de incertezas do material por meio de um modelo simplificado de transporte de calor no núcleo de um reator nuclear. Em comparação com a base polinomial Hermite do produto tensorial,

Caso contrário, a base tensor-produto dos polinômios unidimensionais não é apenas a técnica apropriada, mas também a única que posso encontrar para isso.

Aarthi
fonte