Ao usar o retorno de chamada de Parada Antecipada no Keras, o treinamento é interrompido quando alguma métrica (geralmente perda de validação) não está aumentando. Existe uma maneira de usar outra métrica (como precisão, recall, f-measure) em vez da perda de validação? Todos os exemplos que eu vi...
Se eu tiver um hipercubo de 50 dimensões. E eu defino seu limite por ou onde x_j é a dimensão do hipercubo. O cálculo da proporção de pontos no limite do hipercubo será de 0,995 . O que isso significa? Isso significa que o restante do espaço está vazio? Se 99 \% dos pontos estiverem no limite, os...
Técnica de superamostragem de minoria sintética (SMOTE) é uma técnica de superamostragem usada em um problema de conjunto de dados desequilibrado. Até agora, tenho uma ideia de como aplicá-lo em dados estruturados genéricos. Mas é possível aplicá-lo no problema de classificação de texto? Qual parte...
Parece que o otimizador Adaptive Moment Estimation (Adam) quase sempre funciona melhor (atingindo um mínimo global mais rápido e confiável) ao minimizar a função de custo no treinamento de redes neurais. Por que nem sempre usa Adam? Por que se preocupar em usar o RMSProp ou otimizadores de...
Quero treinar uma CNN para reconhecimento de imagem. As imagens para treinamento não têm tamanho fixo. Quero que o tamanho da entrada da CNN seja 50x100 (altura x largura), por exemplo. Quando redimensiono algumas imagens de tamanho pequeno (por exemplo, 32 x 32) para inserir o tamanho, o conteúdo...
Se a remoção de alguns neurônios resulta em um modelo com melhor desempenho, por que não usar uma rede neural mais simples com menos camadas e menos neurônios? Por que construir um modelo maior e mais complicado no começo e suprimir partes dele mais
Pelo meu entendimento, os algoritmos genéticos são ferramentas poderosas para otimização multiobjetivo. Além disso, o treinamento de redes neurais (especialmente as profundas) é difícil e tem muitos problemas (funções de custo não convexas - mínimos locais, gradientes de fuga e explosão...
Quero saber se a descida de gradiente é o principal algoritmo usado em otimizadores como Adam, Adagrad, RMSProp e vários outros otimizadores.
Por exemplo, ao pesquisar algo no Google, os resultados retornam quase instantaneamente. Entendo que o Google classifica e indexa páginas com algoritmos, etc., mas acho inviável que os resultados de cada consulta possível sejam indexados (e os resultados são personalizados, o que torna isso ainda...
Considere um fluxo contendo tuplas (user, new_score) representando as pontuações dos usuários em um jogo online. O fluxo pode ter de 100 a 1.000 novos elementos por segundo. O jogo tem 200K a 300K jogadores únicos. Eu gostaria de ter algumas consultas permanentes como: Quais jogadores postaram...
Trabalhando no que geralmente pode ser chamado de projetos de "dados médios", consegui paralelizar meu código (principalmente para modelagem e previsão em Python) em um único sistema, em qualquer lugar de 4 a 32 núcleos. Agora, estou analisando o dimensionamento de clusters no EC2 (provavelmente...
Alguém pode me informar sobre as compensações envolvidas na escolha entre o Storm e o MapReduce no Hadoop Cluster para processamento de dados? Obviamente, além do óbvio, o Hadoop (processamento via MapReduce em um Hadoop Cluster) é um sistema de processamento em lote e o Storm é um sistema de...
Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 5 anos . Sendo novo no...
Há muito hype ao redor do Hadoop e seu ecossistema. No entanto, na prática, onde muitos conjuntos de dados estão no intervalo de terabytes, não é mais razoável usar o Amazon RedShift para consultar grandes conjuntos de dados, em vez de gastar tempo e esforço construindo um cluster Hadoop? Além...
Entendo que os métodos de compactação podem ser divididos em dois conjuntos principais: global local O primeiro conjunto funciona independentemente dos dados que estão sendo processados, ou seja, eles não dependem de nenhuma característica dos dados e, portanto, não precisam executar nenhum...
Há um projeto paralelo no qual estou trabalhando, onde preciso estruturar uma solução para o seguinte problema. Eu tenho dois grupos de pessoas (clientes). O grupo Apretende comprar e o grupo Bpretende vender um determinado produto X. O produto tem uma série de atributos x_i, e meu objetivo é...
Atualmente, estou usando vários classificadores diferentes em várias entidades extraídas do texto e usando precisão / recall como um resumo de quão bem cada classificador separado é executado em um determinado conjunto de dados. Gostaria de saber se existe uma maneira significativa de comparar o...
Tanto quanto eu sei o desenvolvimento de algoritmos para resolver o problema da Mineração de Padrão Frequente (FPM), o caminho das melhorias tem alguns pontos de verificação principais. Primeiramente, o algoritmo Apriori foi proposto em 1993 por Agrawal et al. , juntamente com a formalização do...
Estou trabalhando em um aplicativo que requer a criação de um banco de dados muito grande de n-gramas que existem em um corpus de texto grande. Preciso de três tipos de operação eficientes: pesquisa e inserção indexadas pelo próprio n-grama e consulta de todos os n-gramas que contêm um...
Atualmente, estou trabalhando com um grande conjunto de dados de solicitações de seguro de saúde que inclui algumas solicitações de laboratório e farmácia. As informações mais consistentes no conjunto de dados, no entanto, são compostas por códigos de diagnóstico (CID-9CM) e procedimentos (CPT,...