Para experimentar, gostaríamos de usar o Emoji incorporado em muitos Tweets como dados básicos de treinamento / verdade para uma análise quantitativa simples de senações. Os tweets geralmente não são estruturados para que a PNL funcione bem. De qualquer forma, existem 722 Emoji no Unicode 6.0 e...
Vou classificar documentos de texto não estruturados, ou seja, sites de estrutura desconhecida. O número de classes para as quais estou classificando é limitado (neste momento, acredito que não haja mais que três). Alguém tem uma sugestão de como eu posso começar? A abordagem "saco de palavras" é...
Quando algoritmos ML, por exemplo, Vowpal Wabbit ou algumas das máquinas de fatoração que vencem competições de taxa de cliques ( Kaggle ), mencionam que os recursos são 'hash', o que isso realmente significa para o modelo? Vamos dizer que existe uma variável que representa o ID de um complemento...
Eu tenho uma variável contínua, amostrada durante um período de um ano em intervalos irregulares. Alguns dias têm mais de uma observação por hora, enquanto outros não têm nada por dias. Isso torna particularmente difícil detectar padrões nas séries temporais, porque alguns meses (por exemplo,...
Eu trabalho no NLTK há algum tempo usando Python. O problema que estou enfrentando é que não há ajuda disponível no treinamento do NER no NLTK com meus dados personalizados. Eles usaram o MaxEnt e o treinaram no corpus do ACE. Pesquisei bastante na web, mas não consegui encontrar nenhuma maneira de...
Termos como 'ciência de dados' e 'cientista de dados' são cada vez mais usados atualmente. Muitas empresas estão contratando 'cientista de dados'. Mas não acho que seja um trabalho completamente novo. Os dados existiram no passado e alguém teve que lidar com dados. Eu acho que o termo 'cientista...
Alguém sabe se é possível importar um grande conjunto de dados para o Amazon S3 a partir de um URL? Basicamente, eu quero evitar o download de um arquivo enorme e depois enviá-lo novamente para o S3 através do portal da web. Eu só quero fornecer o URL de download para o S3 e esperar que eles...
Quero investigar o comportamento de estabelecimento de preços das companhias aéreas - especificamente como as empresas reagem aos preços dos concorrentes. Como eu diria, meu conhecimento sobre análises mais complexas é bastante limitado. Eu fiz principalmente todos os métodos básicos para reunir...
Suponha que eu tenha cinco conjuntos que gostaria de agrupar. Entendo que a técnica SimHashing descrita aqui: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ poderia gerar três clusters ( {A}, {B,C,D}e {E}), por exemplo, se seus resultados fossem: A -> h01 B ->...
Eu plotei as importâncias do recurso em florestas aleatórias com o scikit-learn . Para melhorar a previsão usando florestas aleatórias, como posso usar as informações da plotagem para remover recursos? Ou seja, como descobrir se um recurso é inútil ou pior ainda, o desempenho das florestas...
Eu tenho usado essa biblioteca para construção e análise básicas de redes neurais. No entanto, ele não tem suporte para a construção de redes neurais de várias camadas, etc. Então, eu gostaria de saber de alguma biblioteca agradável para fazer redes neurais avançadas e Deep Learning em...
Preciso de ajuda sobre qual deve ser meu próximo passo em um algoritmo que estou projetando. Devido aos NDAs, não posso divulgar muito, mas tentarei ser genérico e compreensível. Basicamente, após várias etapas nos algoritmos, tenho o seguinte: Para cada cliente que eu tenho e eventos que eles...
Conheço alguém que está trabalhando em um projeto que envolve a ingestão de arquivos de dados sem levar em consideração as colunas ou os tipos de dados. A tarefa é obter um arquivo com qualquer número de colunas e vários tipos de dados e gerar estatísticas de resumo nos dados numéricos. No...
Eu estava estudando a possibilidade de classificar o som (por exemplo, sons de animais) usando espectrogramas. A idéia é usar redes neurais convolucionais profundas para reconhecer segmentos no espectrograma e emitir um (ou muitos) rótulos de classe. Esta não é uma idéia nova (veja, por exemplo ,...
Como escolher K para PCA? K é o número de dimensões a serem projetadas. O único requisito é não perder muita informação. Entendo que depende dos dados, mas estou procurando mais uma visão geral simples sobre quais características considerar ao escolher
Eu tenho dois quadros de dados df1 e df2 e gostaria de mesclá-los em um único quadro de dados. É como se o df1 e o df2 fossem criados dividindo um único quadro de dados verticalmente no centro, como rasgar um pedaço de papel que contém uma lista ao meio para que metade das colunas fique em um papel...
Acabei de ajustar uma curva logística a alguns dados falsos. Fiz os dados essencialmente uma função de etapa. data = -------------++++++++++++++ Mas quando olho para a curva ajustada, a inclinação é muito pequena. A função que melhor minimiza a função de custo, assumindo entropia cruzada, é a...
fundo: em xgboost os tentativas de iteração para caber uma árvore f t sobre todos os n exemplos que minimiza o seguinte objectivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] onde são de primeira ordem e segunda...
Estou construindo um carro autônomo com controle remoto para se divertir. Estou usando um Raspberry Pi como computador de bordo; e estou usando vários plug-ins, como uma câmera Raspberry Pi e sensores de distância, para obter feedback sobre os arredores do carro. Estou usando o OpenCV para...
Eu tenho um problema de classificação com dados altamente desequilibrados. Li que a sobredimensionagem e a subamostragem, bem como a alteração do custo de resultados categóricos sub-representados, levarão a um melhor ajuste. Antes disso, o tensorflow categorizava cada entrada como o grupo...