Qual das opções abaixo é a correta ao criar um modelo preditivo? Opção 1: Primeiro, elimine os preditores obviamente mais ruins e pré-processe os demais, se necessário, treine vários modelos com validação cruzada, escolha os poucos melhores, identifique os principais preditores que cada um usou,...
Ao implementar a descida gradiente de minilote para redes neurais, é importante levar elementos aleatórios em cada minilote? Ou é suficiente embaralhar os elementos no início do treinamento uma vez? (Também estou interessado em fontes que definitivamente dizem o que
Estou tentando entender a aprendizagem por reforço e os processos de decisão de markov (MDP) no caso em que uma rede neural está sendo usada como aproximador de funções. Estou tendo dificuldades com o relacionamento entre o MDP, onde o ambiente é explorado de maneira probabilística, como isso é...
Eu tenho um conjunto de dados para o qual estou tentando prever variáveis de destino. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 2 23 11 4 2 22 12 14 2 22 11 43 38 3 Forneci dados de amostra, mas o meu possui milhares de...
Desejo adicionar um recurso de recomendação a um sistema de gerenciamento de documentos . É um servidor no qual a maioria dos documentos da empresa está armazenada. Os funcionários navegam na interface da Web e clicam para baixar (ou ler on-line) os documentos que desejam. Cada funcionário tem...
Os textos de aprendizado de máquina que descrevem algoritmos como máquinas de aumento de gradiente ou redes neurais geralmente comentam que esses modelos são bons em previsões, mas isso tem o preço de uma perda de explicabilidade ou interpretabilidade. Por outro lado, as árvores de decisão única e...
O Numer.ai já existe há algum tempo e parece haver apenas alguns posts ou outras discussões sobre o assunto na web. O sistema mudou de tempos em tempos e a configuração hoje é a seguinte: dados de trem (N = 96K) e teste (N = 33K) com 21 características com valores contínuos em [0,1] e um alvo...
Qual é o efeito de NÃO alterar os pesos de filtro de uma CNN durante a retropropagação? Alterei apenas os pesos da camada totalmente conectada durante o treinamento no conjunto de dados MNIST e ainda consegui quase 99% de
Eu tenho um DataFrame com IDF de determinadas palavras computadas. Por exemplo (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Agora, faça uma consulta Q, posso calcular o TF-IDF dessa...
Estou prestes a me formar no meu mestre e aprendi sobre aprendizado de máquina, além de ter realizado projetos de pesquisa com ele. Eu me pergunto sobre as melhores práticas do setor ao executar tarefas de aprendizado de máquina com grandes conjuntos de dados (como 100s GB ou TB). Avalie se outros...
Estou tentando fazer uma análise de sentimentos. Para converter as palavras em vetores de palavras, estou usando o modelo word2vec. Suponha que eu tenho todas as frases em uma lista chamada 'frases' e estou passando essas frases para o word2vec da seguinte maneira: model =
Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma...
Estou tentando entender como entender completamente o processo de decisão de um modelo de classificação de árvore de decisão criado com o sklearn. O principal aspecto que estou vendo é uma representação gráfica da árvore e a lista de importâncias de recursos. O que não entendo é como a importância...
No presente trabalho altamente citados , os autores dar a seguinte discussão sobre o número de parâmetros de peso. Não estou muito claro por que ele tem parâmetros C 2 . Eu acho que deveria ser 49 C, já que cada um dos canais de entrada C compartilha o mesmo filtro, que possui 49...
Tive uma discussão interessante com base em um projeto em que estávamos trabalhando: por que usar um sistema de inspeção visual da CNN sobre um algoritmo de correspondência de modelos? Antecedentes: eu tinha mostrado uma demonstração de um sistema simples de visão da CNN (webcam + laptop) que...
Por dados completos, quero dizer treinar + testar + validação Depois de corrigir meu hiperparâmetro usando os dados de validação e escolher o modelo usando os dados de teste, não será melhor ter um modelo treinado em todos os dados para que os parâmetros sejam melhor treinados do que ter o modelo...
Especialistas da minha área são capazes de prever a probabilidade de um evento (pico binário em amarelo) 30 minutos antes da ocorrência . A frequência aqui é de 1 segundo; essa visão representa algumas horas de dados; circulei em preto onde deveria estar o padrão "malicioso" . Existem interações...
Eu tenho dados de treinamento rotulados com valores binários. Eu também coletei a confiança de cada um desses rótulos, ou seja, 0,8 de confiança significaria que 80% das etiquetadoras humanas concordam com esse rótulo. É possível usar esses dados de confiança para melhorar a precisão do meu...
Suponha que eu esteja interessado em três classes , , . Mas meu conjunto de dados na verdade contém várias outras classes reais .c 2 c 3 ( c j ) n j = 4c1 1c1c_1c2c2c_2c3c3c_3( cj)nj = 4(cj)j=4n(c_j)_{j=4}^n A resposta óbvia é definir uma nova classe que se refira a todas as classes , mas...
Eu sou Ph.D. em matemática aluno interessado em ingressar na indústria como cientista de dados após a graduação. Apresentarei brevemente alguns antecedentes sobre minha educação antes de fazer minha pergunta, para que seja melhor compreendida: Curso de Matemática: Isso tem sido principalmente em...