Só queria ver se alguém tem alguma experiência em aplicar a regressão de processo Gaussiana (GPR) a conjuntos de dados de alta dimensão. Estou examinando alguns dos vários métodos GPR esparsos (por exemplo, pseudo-entradas GPR esparsas) para ver o que poderia funcionar para conjuntos de dados de alta dimensão, onde a seleção ideal de recursos faz parte do processo de seleção de parâmetros.
Qualquer sugestão sobre documentos / código / ou vários métodos para tentar é definitivamente apreciada.
Obrigado.
Respostas:
Os modelos de processo gaussiano geralmente são bons com conjuntos de dados de alta dimensão (eu os usei com dados de microarranjos etc.). A chave está na escolha de bons valores para os hiperparâmetros (que efetivamente controlam a complexidade do modelo de maneira semelhante à regularização).
Métodos esparsos e métodos de pseudo-entrada são mais para conjuntos de dados com um grande número de amostras (> aproximadamente 4000 para o meu computador), em vez de um grande número de recursos. Se você possui um computador poderoso o suficiente para realizar uma decomposição de Cholesky da matriz de covariância (n por n, em que n é o número de amostras), provavelmente não precisará desses métodos.
Se você é um usuário do MATLAB, recomendo fortemente a caixa de ferramentas GPML e o livro de Rasmussen e Williams como bons lugares para começar.
No entanto, se você estiver interessado na seleção de recursos, evitaria os GPs. A abordagem padrão para a seleção de recursos com os GPs é usar um kernel de Determinação Automática de Relevância (por exemplo, covSEard no GPML) e, em seguida, obter a seleção de recursos ajustando os parâmetros do kernel para maximizar a probabilidade marginal. Infelizmente, é muito provável que isso acabe supervalorizando a probabilidade marginal e acabe com um modelo com desempenho (possivelmente muito) pior que um modelo com uma covariância simples de função de base radial esférica (covSEiso no GPML).
Atualmente, meu foco de pesquisa está na adaptação excessiva à seleção de modelos no momento e descobri que esse é um problema tanto para a maximização de evidências em GPs quanto para otimização baseada em validação cruzada de hiperparanômetros em modelos de kernel, para obter detalhes veja este artigo e este .
A seleção de recursos para modelos não lineares é muito complicada. Freqüentemente, você obtém melhor desempenho aderindo a um modelo linear e usando abordagens do tipo de regularização L1 (Lasso / LARS / Elastic net etc.) para obter métodos florestais esparsos ou aleatórios.
fonte
fonte