Na minha universidade, temos um cluster de computação HPC. Eu uso o cluster para treinar classificadores e assim por diante. Portanto, geralmente, para enviar um trabalho para o cluster (por exemplo, script python scikit-learn), preciso escrever um script Bash que contenha (entre outros) um comando...
O t-SNE, como em [1], trabalha reduzindo progressivamente a divergência de Kullback-Leibler (KL), até que uma determinada condição seja atendida. Os criadores do t-SNE sugerem usar a divergência de KL como critério de desempenho para as visualizações: você pode comparar as divergências de...
Quero plotar os bytes de uma imagem de disco para entender um padrão neles. Isso é principalmente uma tarefa acadêmica, pois tenho quase certeza de que esse padrão foi criado por um programa de teste de disco, mas eu gostaria de fazer a engenharia reversa de qualquer maneira. Eu já sei que o...
Eu implementei o sistema NER com o uso do algoritmo CRF com meus recursos artesanais que deram bons resultados. O fato é que eu usei muitos recursos diferentes, incluindo tags POS e lemas. Agora eu quero fazer o mesmo NER para um idioma diferente. O problema aqui é que não posso usar tags e lemas...
Estou tentando resolver um conjunto de equações que possui 40 variáveis independentes (x1, ..., x40) e uma variável dependente (y). O número total de equações (número de linhas) é ~ 300, e eu quero resolver o conjunto de 40 coeficientes que minimizam o erro total da soma dos quadrados entre y e o...
Deixe-me mostrar um exemplo de um aplicativo de cluster on-line hipotético: No momento n, os pontos 1,2,3,4 são alocados ao cluster azul A e os pontos b, 5,6,7 são alocados ao cluster vermelho B. No tempo n + 1, é introduzido um novo ponto a que é atribuído ao cluster azul A, mas também faz com...
Estou olhando o pybrain para receber alarmes do monitor do servidor e determinar a causa raiz de um problema. Fico feliz em treiná-lo usando aprendizado supervisionado e selecionando os conjuntos de dados de treinamento. Os dados estão estruturados mais ou menos assim: Servidor Tipo A # 1 Tipo...
Eu sou um pesquisador prático e gosto de testar soluções viáveis, por isso tenho muitas experiências. Por exemplo, se estiver calculando uma pontuação de similaridade entre documentos, convém tentar várias medidas. De fato, para cada medida, talvez seja necessário fazer várias execuções para testar...
Alguém pode explicar como as máquinas de fatoração com reconhecimento de campo (FFM) se comparam às máquinas de fatoração padrão (FM)? Padrão: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf "Field Aware":
Estatísticas comuns de validação de modelo, como o teste Kolmogorov – Smirnov (KS), AUROC e Gini, estão todas relacionadas funcionalmente. No entanto, minha pergunta tem a ver com provar como tudo isso está relacionado. Estou curioso para saber se alguém pode me ajudar a provar esses...
Olá, esta é minha primeira pergunta na pilha de ciência de dados. Eu quero criar um algoritmo para classificação de texto. Suponha que eu tenha um grande conjunto de textos e artigos. Vamos dizer cerca de 5000 textos simples. Primeiro, uso uma função simples para determinar a frequência de todas as...
Quero fazer uma previsão do resultado das eleições parlamentares. Minha saída será a% que cada parte recebe. Como existem mais de duas partes, a regressão logística não é uma opção viável. Eu poderia fazer uma regressão separada para cada parte, mas nesse caso os resultados seriam de alguma maneira...
Atualmente, estou usando SVM e dimensionando meus recursos de treinamento para o intervalo de [0,1]. Primeiro ajustei / transformei meu conjunto de treinamento e depois apliquei a mesma transformação ao meu conjunto de testes. Por exemplo: ### Configure transformation and apply to training set...
O Google Trends retorna dados semanais, portanto, preciso encontrar uma maneira de mesclá-los com meus dados diários / mensais. O que fiz até agora é dividir cada série em dados diários, por exemplo: a partir de: 2013-03-03 - 2013-03-09 37 para: 2013-03-03 37 2013-03-04 37 2013-03-05 37...
O que acontece quando treinamos uma máquina de vetores de suporte básico (kernel linear e sem margem flexível) em dados não linearmente separáveis? O problema de otimização não é viável, então o que o algoritmo de minimização
Como a variação do parâmetro de regularização em um SVM altera o limite de decisão para um conjunto de dados não separável? Uma resposta visual e / ou algum comentário sobre os comportamentos limitantes (para regularizações grandes e pequenas) seria muito
Descobri recentemente um novo pacote R para conectar-se à API do LinkedIn. Infelizmente, a API do LinkedIn parece bastante limitada; por exemplo, você só pode obter dados básicos sobre empresas, e isso é desanexado dos dados de indivíduos. Gostaria de obter dados de todos os funcionários de uma...
Estou usando o notebook Ipython para trabalhar com aplicativos pyspark. Eu tenho um arquivo CSV com muitas colunas categóricas para determinar se a renda cai abaixo ou acima do intervalo de 50k. Eu gostaria de executar um algoritmo de classificação, utilizando todas as entradas para determinar a...
Eu quero evitar o excesso de ajustes na floresta aleatória. A esse respeito, pretendo usar mtry, nodesize e maxnodes etc. Você poderia me ajudar a escolher valores para esses parâmetros? Eu estou usando R. Além disso, se possível, diga-me como posso usar a validação cruzada k-fold para floresta...
Estou trabalhando na configuração de um conjunto de VMs para experimentar o Spark antes de gastar e gastar dinheiro na construção de um cluster com algum hardware. Nota rápida: Sou um acadêmico com experiência em aprendizado de máquina aplicado e trabalho bastante em ciência de dados. Eu uso as...