Perguntas com a marcação «gradient-descent»

24

Scikit-learn: Fazendo o SGDClassifier prever e também uma regressão logística

Uma maneira de treinar uma regressão logística é usar a descida estocástica do gradiente, para a qual o scikit-learn oferece uma interface. O que eu gostaria de fazer é pegar o SGDClassifier de um scikit -learn e obter a mesma pontuação que uma regressão logística aqui . No entanto, devo estar...

24

Qual é a diferença entre a descida de gradiente e a descida de gradiente estocástica?

Qual é a diferença entre a descida de gradiente e a descida de gradiente estocástica? Eu não estou muito familiarizado com isso, você pode descrever a diferença com um pequeno

machine-learning neural-network deep-learning gradient-descent

21

A descida do gradiente sempre converge para o ideal?

Gostaria de saber se existe algum cenário em que a descida do gradiente não converja ao mínimo. Estou ciente de que nem sempre é garantido que a descida do gradiente converja para um ótimo global. Também estou ciente de que ele pode divergir de um ótimo se, digamos, o tamanho da etapa for muito...

machine-learning neural-network deep-learning optimization gradient-descent

17

Por que ReLU é melhor que as outras funções de ativação

Aqui, a resposta se refere a gradientes de fuga e explosão que têm sigmoidfunções de ativação semelhantes, mas, eu acho, Relutem uma desvantagem e é seu valor esperado. não há limitação para a saída do Relue, portanto, seu valor esperado não é zero. Lembro-me da época anterior à popularidade...

machine-learning neural-network deep-learning gradient-descent activation-function

15

Janela deslizante leva a sobreajuste no LSTM?

Superajustei meu LSTM se eu treiná-lo através da janela deslizante? Por que as pessoas parecem não usá-lo para LSTMs? Para um exemplo simplificado, suponha que tenhamos de prever a sequência de caracteres: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z É ruim (ou melhor?) Se eu continuar...

lstm backpropagation mini-batch-gradient-descent

13

O Gradient Descent é central para todos os otimizadores?

Quero saber se a descida de gradiente é o principal algoritmo usado em otimizadores como Adam, Adagrad, RMSProp e vários outros otimizadores.

machine-learning neural-network deep-learning optimization gradient-descent

12

Quantas células LSTM devo usar?

Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of...

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

10

Descida de gradiente estocástico com base em operações vetoriais?

Vamos supor que eu queira treinar um algoritmo de regressão descendente de gradiente estocástico usando um conjunto de dados que possui N amostras. Como o tamanho do conjunto de dados é fixo, reutilizarei os dados T vezes. Em cada iteração ou "época", eu uso cada amostra de treinamento exatamente...

python gradient-descent regression

10

Quão flexível é o vínculo entre a função objetivo e a função de ativação da camada de saída?

Parece padrão em muitos pacotes de redes neurais emparelhar a função objetivo a ser minimizada com a função de ativação na camada de saída. Por exemplo, para uma camada de saída linear usada para regressão, é padrão (e geralmente apenas uma opção) ter uma função objetiva de erro ao quadrado. Outro...

neural-network gradient-descent

10

Por que acelera a descida do gradiente se a função é suave?

Agora, li um livro intitulado "Aprendizado de máquina prático com o Scikit-Learn e TensorFlow" e, no capítulo 11, ele tem a seguinte descrição sobre a explicação de ELU (Exponential ReLU). Terceiro, a função é suave em todos os lugares, incluindo z = 0, o que ajuda a acelerar a descida do...

deep-learning gradient-descent

9

Noções básicas sobre descida e descida de gradiente

Estou vendo como implementar desistências em redes neurais profundas e achei algo contra-intuitivo. Na fase avançada, oculte as ativações com um tensor aleatório de 1s e 0s para forçar a rede a aprender a média dos pesos. Isso ajuda a rede a generalizar melhor. Mas durante a fase de atualização da...

neural-network deep-learning gradient-descent

9

Por que a taxa de aprendizado está fazendo com que os pesos da minha rede neural subam rapidamente?

Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma...

machine-learning python tensorflow optimization gradient-descent

8

O sobreajuste pode ocorrer nos algoritmos de otimização avançada?

ao fazer um curso on-line sobre aprendizado de máquina por Andrew Ng no coursera, deparei-me com um tópico chamado sobreajuste . Eu sei que isso pode ocorrer quando a descida do gradiente é usada na regressão logística ou linear, mas pode ocorrer quando são usados algoritmos de Otimização...

machine-learning regression optimization gradient-descent overfitting

8

Compreendendo a matemática do AdaGrad e AdaDelta

Eu tenho construído alguns modelos para um projeto, mas não consigo entender a matemática dos algoritmos Adagrad e Adadelta. Entendo como funciona a descida do gradiente de baunilha e escrevi um código para fazê-lo funcionar com êxito. Ficarei grato se alguém me explicar essas duas coisas ou...

machine-learning gradient-descent

7

Por que a ReLU com vazamento nem sempre é preferível à ReLU, dado o gradiente zero para x <0?

Parece-me que o ReLU com vazamento deve ter um desempenho muito melhor, pois o ReLU padrão não pode usar metade de seu espaço (x <0, onde o gradiente é zero). Mas isso não acontece e, na prática, a maioria das pessoas usa ReLU

neural-network gradient-descent

7

Implementação da descida estocástica de gradiente em Python

Eu estou tentando implementar um algoritmo básico de descida de gradiente estocástico para uma regressão linear 2D em python. Recebi um código padrão para o GD baunilha e tentei convertê-lo para trabalhar para o SGD. Especificamente - estou um pouco inseguro quanto à implementação correta da...

linear-regression gradient-descent