Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico de...
Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente...
Recentemente, li um artigo de Yann Dauphin et al. Identificando e atacando o problema do ponto de sela na otimização não convexa de alta dimensão , onde eles introduzem um interessante algoritmo de descida chamado Saddle-Free Newton , que parece ser exatamente adaptado para otimização de rede...
Eu faria uma pergunta relacionada a este . Encontrei um exemplo de como escrever a função de perda personalizada para o xgboost aqui : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
Tentando aprender um pouco de Python e Sklearn, mas para o meu trabalho eu preciso executar regressões que usem distribuições de erro das famílias Poisson, Gamma e, especialmente, Tweedie. Não vejo nada na documentação sobre eles, mas eles estão em várias partes da distribuição R, então eu queria...
Digamos que nosso conjunto de dados contenha 1 milhão de exemplos, ou seja, , e desejamos usar a descida do gradiente para realizar uma regressão logística ou linear nesse conjunto de dados.x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} O que é o método do gradiente descendente que o torna...
Nos blogs de aprendizado de máquina, encontro frequentemente a palavra "baunilha". Por exemplo, "Descida de gradiente de baunilha" ou "método de baunilha". Esse termo nunca é visto literalmente em nenhum livro didático de otimização. Por exemplo, neste post , ele diz: Essa é a forma mais...
Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda média de...
Estudei regressão linear e tentei no conjunto abaixo {(x, y)}, em que x especificou a área da casa em metros quadrados e y especificou o preço em dólares. Este é o primeiro exemplo no Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Eu desenvolvi um código de exemplo, mas quando o...
Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao...
O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1,...
Quando um conjunto de equações não pode ser resolvido analiticamente, podemos usar um algoritmo de descida de gradiente. Mas parece que também existe o método de simulação de Monte Carlo que pode ser usado para resolver problemas que não possuem soluções analíticas. Como saber quando usar a...
Eu queria saber se era possível treinar um SVM (digamos um linear, para facilitar as coisas) usando a retropropagação? Atualmente, estou em um obstáculo, porque só consigo pensar em escrever a saída do classificador como f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + 1 ) ) = sgn ( g( x ; θ , b )...
Ao treinar um modelo parametrizado (por exemplo, para maximizar a probabilidade) por meio de descida estocástica do gradiente em alguns conjuntos de dados, geralmente é assumido que as amostras de treinamento são extraídas da distribuição de dados de treinamento. Portanto, se o objetivo é modelar...
Eu sou novo em Keras e preciso de sua ajuda. Estou treinando uma rede neural em Keras e minha função de perda é a diferença ao quadrado entre a saída e o valor-alvo da rede. Eu quero otimizar isso usando a Descida de gradiente. Depois de passar por alguns links na rede, soube que existem 3 tipos...
Estou lendo um artigo da conferência de 1991 de Geyer, que está relacionado abaixo. Nele, ele parece iludir-se com um método que pode usar o MCMC para estimativa de parâmetros MLE Isso me excita desde então, codifiquei algoritmos BFGS, GAs e todos esses tipos de métodos horríveis e de sorte para...
Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados no
Estou tentando entender a otimização da descida do gradiente nos algoritmos de ML (aprendizado de máquina). Entendo que existe uma função de custo - em que o objetivo é minimizar o erro . Em um cenário em que os pesos estão sendo otimizados para fornecer o erro mínimo e derivadas parciais estão...
Pesquisando sobre o algoritmo xgboost, examinei a documentação . Nesta abordagem, as árvores são regularizadas usando a definição de complexidade que e são parâmetros, é o número de folhas terminais e é a pontuação em cada folha. γλTwjΩ ( f) = γT+ 12λ ∑j = 1TW2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) =...
Estou lendo a útil entrada da Wikipedia sobre aumento de gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ) e tento entender como / por que podemos aproximar os resíduos pela etapa de descida mais íngreme (também chamada de pseudo-gradiente ) Alguém pode me dar a intuição de como a...