A engenharia de recursos é o processo de usar o conhecimento de domínio dos dados para criar recursos para modelos de aprendizado de máquina. Essa tag destina-se a perguntas teóricas e práticas relacionadas à engenharia de recursos, excluindo perguntas que solicitam código, que seriam fora de tópico no CrossValidated.
Quais técnicas estão disponíveis para recolher (ou agrupar) muitas categorias para algumas, com o objetivo de usá-las como uma entrada (preditora) em um modelo estatístico? Considere uma variável como estudante universitário (disciplina escolhida por um estudante de graduação). É desordenado e...
Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem....
Estou construindo um modelo e acho que a localização geográfica provavelmente será muito boa em prever minha variável de destino. Eu tenho o CEP de cada um dos meus usuários. No entanto, não tenho muita certeza da melhor maneira de incluir o CEP como um recurso preditivo no meu modelo. Embora o CEP...
Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu...
Quando devemos discretizar / bin variáveis / recursos independentes e quando não devemos? Minhas tentativas de responder à pergunta: Em geral, não devemos fazer bin, porque o binning perderá informações. Na verdade, o binning está aumentando o grau de liberdade do modelo; portanto, é possível...
Recentemente, aprendi que uma das maneiras de encontrar melhores soluções para problemas de ML é através da criação de recursos. Pode-se fazer isso, por exemplo, somando dois recursos. Por exemplo, possuímos dois recursos "ataque" e "defesa" de algum tipo de herói. Em seguida, criamos um recurso...
Como é sabido a todos, a engenharia de recursos é extremamente importante para o aprendizado de máquina, no entanto, encontrei poucos materiais associados a essa área. Participei de várias competições no Kaggle e acredito que bons recursos podem até ser mais importantes do que um bom classificador...
Qual é a definição de "espaço de recurso"? Por exemplo, ao ler sobre SVMs, li sobre "mapeamento para destacar o espaço". Ao ler sobre o CART, li sobre "particionamento para destacar o espaço". Entendo o que está acontecendo, especialmente para a CART, mas acho que há alguma definição que eu...
Trabalhando no problema de regressão, comecei a pensar na representação do recurso "dia da semana". Gostaria de saber qual abordagem teria melhor desempenho: uma característica; valor 1/7 para segunda-feira; 2/7 para terça-feira ... 7 recursos: (1, 0, 0, 0, 0, 0, 0) para segunda-feira; (0, 1, 0,...
Eu tenho dois conjuntos de dados (dados de origem e destino) que seguem a distribuição diferente. Estou usando o MMD - que é uma distribuição de distância não paramétrica - para calcular a distribuição marginal entre os dados de origem e de destino. dados de origem, Xs dados de destino,...
Então, eu tenho brincado com SVMs e me pergunto se isso é uma boa coisa a fazer: Eu tenho um conjunto de recursos contínuos (0 a 1) e um conjunto de recursos categóricos que converti em variáveis fictícias. Nesse caso em particular, codifico a data da medição em uma variável dummy: Existem 3...
Estou fazendo análise exploratória de dados (EDA) em um conjunto de dados. Depois, selecionarei alguns recursos para prever uma variável dependente. A pergunta é: Devo fazer a EDA apenas no meu conjunto de dados de treinamento? Ou devo juntar os conjuntos de dados de treinamento e teste juntos,...
Digamos que eu queira criar um Classificador Logístico para um filme M. Meus recursos seriam algo como idade da pessoa, gênero, ocupação, local. Portanto, o conjunto de treinamento seria algo como: Idade Sexo Ocupação Localização Gosto (1) / Não gosto (0) 23 M Software EUA 1 24 M Médico Reino...
A engenharia de recursos geralmente é um componente importante do aprendizado de máquina (foi muito utilizado para ganhar a Copa KDD em 2010 ). No entanto, acho que a maioria das técnicas de engenharia apresenta destruir qualquer significado intuitivo dos recursos subjacentes ou são muito...
Eu tenho uma matriz de termos de documentos e agora gostaria de extrair palavras-chave para cada documento com um método de aprendizado supervisionado (SVM, Naive Bayes, ...). Neste modelo, eu já uso Tf-idf, tag Pos, ...MMM Mas agora estou me perguntando sobre os próximos. Eu tenho uma matriz com...
Eu tenho acesso a um conjunto de dados muito grande. Os dados são de gravações do MEG de pessoas ouvindo trechos musicais, de um dos quatro gêneros. Os dados são os seguintes: 6 Sujeitos 3 Repetições experimentais (épocas) 120 tentativas por época 8 segundos de dados por tentativa a 500Hz (= 4000...
Os recursos aleatórios de Fourier fornecem aproximações às funções do kernel. Eles são usados para vários métodos de kernel, como SVMs e processos gaussianos. Hoje, tentei usar a implementação do TensorFlow e obtive valores negativos para metade dos meus recursos. Pelo que entendi, isso não...
A Wikipedia fornece o seguinte exemplo ao descrever o hash de recursos ; mas o mapeamento não parece consistente com o dicionário definido Por exemplo, todeve ser convertido para de 3acordo com o dicionário, mas é codificado como 1alternativa. Existe um erro na descrição? Como funciona o hash de...
Eu tenho um conjunto de elementos que posso descrever de acordo com características. Portanto:XXXnnn xEu: { ceu 1, cEu 2, ... , CEu n} | XEu∈ XxEu:{cEu1 1,cEu2,…,cEun}∣xEu∈Xx_i: \{c_{i1}, c_{i2}, \ldots, c_{in}\} \mid x_i \in X onde é a avaliação (numérica) do elemento acordo com as...
Meu objetivo é analisar os logs de rede (por exemplo, Apache, syslog, auditoria de segurança do Active Directory e assim por diante) usando a detecção de cluster / anomalia para fins de detecção de intrusão. Nos logs, tenho muitos campos de texto como endereço IP, nome de usuário, nome do host,...