Em geral, devo treinar minha rede neural com menos neurônios, para que ela tenha menos neurônios ReLU mortos? Eu li opiniões conflitantes sobre ReLUs mortos. Algumas fontes dizem que ReLUs mortos são bons porque incentivam a escarsidade. Outros dizem que são ruins porque as RELUs mortas estão...
Estou coletando um grupo de seqüências de tempo multivariadas. Por exemplo, existem 2000 séries temporais. Cada série temporal é de 12 dimensões. Existem modelos / algoritmos sistemáticos que podem agrupar séries temporais multivariadas? Por exemplo, gostaria de identificar algumas séries...
Eu queria treinar uma rede com não linearidades que sofrem com o desaparecimento (ou o problema do gradiente explodindo, embora principalmente o desaparecimento). Sei que a maneira padrão (atual) é usar a normalização de lote 1 [BN] 1 ou simplesmente abandonar a não linearidade e usar as unidades...
Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de...
No SGD, uma época seria a apresentação completa dos dados de treinamento e haveria N atualizações de peso por época (se houver N exemplos de dados no conjunto de treinamento). Se agora fizermos mini-lotes, digamos em lotes de 20. Agora, uma época consiste em atualizações de peso N / 20 ou uma...
Pergunta: Alguém conhece algum livro didático que introduza o aprendizado de máquina (pela primeira vez) por meio da abordagem espacial Hilbert em reprodução do kernel ? Ou seja, que assumem a análise funcional como um pré-requisito, mas não assumem o conhecimento prévio do aprendizado de...
Pela primeira vez (desculpe imprecisões / erros) , observei os processos gaussianos e, mais especificamente, assisti a este vídeo de Nando de Freitas . As notas estão disponíveis online aqui . Em algum momento, ele extrai 101010 amostras aleatórias de um normal multivariado gerado pela construção...
Da Wikipedia: Na modelagem estatística, a análise de regressão é um processo estatístico para estimar as relações entre variáveis. Inclui muitas técnicas para modelar e analisar várias variáveis, quando o foco está no relacionamento entre uma variável dependente e uma ou mais variáveis...
Frequentemente, estudamos o modelo Gaussian Mixture como um modelo útil no aprendizado de máquina e suas aplicações. Qual é o significado físico dessa " mistura "? É usado porque um Modelo de Mistura Gaussiano modela a probabilidade de várias variáveis aleatórias, cada uma com seu próprio valor...
Eu sou novo na conversão de fórmulas para matriz. Mas isso é necessário para um código eficiente de aprendizado de máquina. Então, eu quero entender o caminho "certo", não as coisas de cowboy que eu faço. Tudo bem, aqui vamos nós, estou tentando converter a soma ponderada dos quadrados do...
Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso usar dados...
Estou lendo o livro de reconhecimento de padrões e aprendizado de máquina de Chris Bishop . Encontrei o termo inferência probabilística várias vezes. Eu tenho algumas perguntas. A inferência probabilística é aplicável apenas em um contexto de modelagem gráfica? Qual é a distinção entre inferência...
Novo no aprendizado estatístico e de máquina e em alguns cursos on-line. Estou tentando entender a regressão logística com mais detalhes e notei uma diferença na fórmula entre o curso de Andrew Ng e o curso de aprendizagem estatística de Stanford. Abaixo, eu posto uma imagem de link nas duas...
Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o...
Eu tenho um problema de classificação binária (aprendizado supervisionado), onde todos os meus recursos são booleanos, com o seguinte toque: Eu quero aprender um classificador que é monótono . Em outras palavras, alterar qualquer subconjunto de recursos de 0 para 1 nunca deve alterar a saída do...
Esta pergunta é referente ao documento Deepmind sobre DDPG: https://arxiv.org/pdf/1509.02971v5.pdf . A maioria (todas?) Das implementações do algoritmo DDPG que eu vi computam a atualização do gradiente na rede do ator por
Estou um pouco confuso com a fórmula para calcular a covariância no processo gaussiano (a adição de variação sempre me confunde, pois nem sempre é explicitamente indicada). A origem da confusão é que as fórmulas fornecidas no processo de reconhecimento de padrões e aprendizado de máquina por Bishop...
Estou bastante confuso sobre como posso calcular os valores de AP ou mAP, pois parece haver alguns métodos diferentes. Eu quero especificamente obter os valores de AP / mAP para detecção de objetos. Tudo o que tenho certeza é: Rechamada = TP / (TP + FN), Precisão = TP / (TP + FP) Por exemplo, se...
Pelo que entendi, as redes neurais profundas estão realizando o "aprendizado de representação", colocando as camadas em conjunto. Isso permite aprender estruturas dimensionais muito altas nos recursos. Obviamente, é um modelo paramétrico com números fixos de parâmetros, portanto, possui a limitação...
Eu sou novo no aprendizado profundo e estou tentando calcular a derivada da seguinte função em relação à matriz :ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Usando a regra do quociente,