Perguntas com a marcação «hyperparameter»

Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...

Atualmente, estou pesquisando a Pesquisa aleatória de otimização de hiper-parâmetros de Bengio e Bergsta [1], onde os autores afirmam que a pesquisa aleatória é mais eficiente do que a pesquisa em grade para obter desempenho aproximadamente igual. Minha pergunta é: as pessoas aqui concordam com...

Estou procurando um artigo que possa ajudar a fornecer diretrizes sobre como escolher os hiperparâmetros de uma arquitetura profunda, como auto-codificadores empilhados ou redes de crenças profundas. Existem muitos hiperparâmetros e estou muito confuso sobre como escolhê-los. O uso da validação...

Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Bengio, Goodfellow e Courville: Adam é geralmente considerado como sendo bastante robusto para a escolha de hiper parâmetros, embora a taxa de aprendizado às vezes...

Alguém pode explicar qual é a interpretação natural para os hiperparâmetros LDA? ALPHAe BETAsão parâmetros de distribuições Dirichlet para distribuições de tópicos (por documento) e (por tópico) palavras, respectivamente. No entanto, alguém pode explicar o que significa escolher valores maiores...

Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse problema . Eu posso...

Eu tenho um conjunto de dados de 140000 exemplos e 30 recursos para os quais estou treinando vários classificadores para uma classificação binária (SVM, Regressão Logística, Floresta Aleatória etc.) Em muitos casos, o ajuste de hiperparâmetros em todo o conjunto de dados usando a pesquisa em grade...

Portanto, em uma distribuição normal, temos dois parâmetros: média e variância . No livro Reconhecimento de Padrões e Aprendizado de Máquina , aparece subitamente um hiperparâmetro nos termos de regularização da função de erro.μμ\muσ2σ2\sigma^2λλ\lambda O que são hiperparâmetros? Por que eles são...

Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são...

Em primeiro lugar, desculpas por postar uma pergunta que já foi discutida extensivamente aqui , aqui , aqui , aqui , aquie para reaquecer um tópico antigo. Eu sei que o @DikranMarsupial já escreveu sobre esse tópico em posts e artigos de periódicos, mas ainda estou confuso e, a julgar pelo número...

Li as seguintes postagens para validação cruzada aninhada e ainda não tenho 100% de certeza do que devo fazer com a seleção de modelo com validação cruzada aninhada: Validação cruzada aninhada para seleção de modelo Seleção de modelos e validação cruzada: o caminho certo Para explicar minha...

Meu objetivo é classificar os sinais dos sensores. O conceito da minha solução até agora é: i) Recursos de engenharia a partir do sinal bruto ii) Seleção de recursos relevantes com o ReliefF e uma abordagem de clustering iii) Aplicação de NN, floresta aleatória e SVM No entanto, estou preso em um...

Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente...

Portanto, sabemos que a pesquisa aleatória funciona melhor que a pesquisa em grade, mas uma abordagem mais recente é a otimização bayesiana (usando processos gaussianos). Procurei uma comparação entre os dois e não encontrei nada. Eu sei que no cs231n de Stanford eles mencionam apenas pesquisa...

log(y|X,θ)=−12yTK−1yy−12log(det(K))−n2log(2π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2}

As classes previstas da regressão logística (binária) são determinadas usando um limite nas probabilidades de associação à classe geradas pelo modelo. Pelo que entendi, normalmente 0,5 é usado por padrão. Mas variar o limite alterará as classificações previstas. Isso significa que o limiar é um...

Em um modelo hierárquico de dados , onde y ~ de Poisson ( λ ) λ ~ Gama ( α , β ) parece ser típico em prática a escolher os valores ( ct , β ) de tal modo que a média e variância de distribuição gama corresponder aproximadamente a média e variância dos dados y (por exemplo, Clayton e Kaldor,...

Eu estava implementando um artigo bastante popular " EXPLICANDO E APRENDENDO EXEMPLOS ADVERSÁRIOS " e, no artigo, ele treina uma função objetiva adversária J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ele trata α como um hiperparâmetro. α pode ser 0,1, 0,2, 0,3, etc. Independentemente deste artigo...

Existe alguma regra prática entre a profundidade de uma rede neural e a taxa de aprendizado? Tenho notado que quanto mais profunda a rede, menor a taxa de aprendizado. Se isso está correto, por que

Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como isso difere de...