Criei um modelo LSTM para prever perguntas duplicadas no conjunto de dados oficial do Quora. Os rótulos de teste são 0 ou 1. 1 indica que o par de perguntas está duplicado. Depois de criar o modelo usando model.fit, eu testo o modelo usando model.predictos dados de teste. A saída é uma matriz de...
Eu uso o Python para executar um modelo de floresta aleatório no meu conjunto de dados desequilibrado (a variável de destino era uma classe binária). Ao dividir o conjunto de dados de treinamento e teste, lutei para usar a amostragem estratificada (como o código mostrado) ou não. Até agora,...
Eu tenho um quadro de dados que, entre outras coisas, contém uma coluna do número de milissegundos passados desde 1970-1-1. Preciso converter essa coluna de ints em dados de registro de data e hora, para poder convertê-lo em uma coluna de dados de data e hora adicionando a série de colunas de...
O Mode Analytics possui um bom recurso de mapa de calor ( https://community.modeanalytics.com/gallery/geographic-heat-map/ ). Mas não é propício para comparar mapas (apenas um por relatório). O que eles permitem é que os dados sejam facilmente puxados para um notebook python empacotado. E...
Eu li neste post. A linguagem R é adequada para Big Data que o big data constitui 5TBe, embora faça um bom trabalho em fornecer informações sobre a viabilidade de trabalhar com esse tipo de dados R, fornece muito pouca informação sobre Python. Fiquei me perguntando se Pythonpode trabalhar com...
Estou usando o Classificador Aleatório de Floresta scikit-learn e quero plotar a importância do recurso, como neste exemplo . No entanto, meu resultado é completamente diferente, no sentido de que o desvio padrão da importância da característica é quase sempre maior do que a própria importância da...
Se eu treinar meu modelo usando o seguinte código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target =
Estou usando a Biblioteca Gensim em python para usar e treinar o modelo word2vector. Recentemente, eu estava olhando para inicializar meus pesos de modelo com algum modelo word2vec pré-treinado, como (modelo pré-treinado GoogleNewDataset). Eu tenho lutado com isso algumas semanas. Agora, acabei de...
Eu estava tentando implementar uma rede neural do zero para entender a matemática por trás dela. Meu problema está completamente relacionado à retropropagação quando adotamos derivada em relação ao viés) e deduzi todas as equações usadas na retropropagação. Agora, toda equação está de acordo com o...
Estou tentando implementar este artigo em um conjunto de imagens médicas. Eu estou fazendo isso em Keras. A rede consiste essencialmente em 4 camadas conv e max-pool, seguidas por uma camada totalmente conectada e um classificador soft max. Até onde sei, segui a arquitetura mencionada no artigo....
Eu trabalho no NLTK há algum tempo usando Python. O problema que estou enfrentando é que não há ajuda disponível no treinamento do NER no NLTK com meus dados personalizados. Eles usaram o MaxEnt e o treinaram no corpus do ACE. Pesquisei bastante na web, mas não consegui encontrar nenhuma maneira de...
Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of...
Entendo o que o Standard Scalar faz e o que o Normalizer faz, de acordo com a documentação do scikit: Normalizer , Standard Scaler . Eu sei quando o Scaler padrão é aplicado. Mas em que cenário o Normalizer é aplicado? Existem cenários em que um é preferido em relação ao...
Alguém já usou (e gostou) de bons pacotes de "mineração de sequência frequente" no Python que não sejam o FPM no MLLib? Estou à procura de um pacote estável, de preferência mantido por pessoas.
Considere um quadro de dados pyspark composto por elementos 'nulos' e elementos numéricos. Em geral, os elementos numéricos têm valores diferentes. Como é possível substituir todos os valores numéricos do quadro de dados por um valor numérico constante (por exemplo, pelo valor 1)? Desde já,...
Eu tenho um conjunto de dados com ~ 1M linhas e ~ 500K recursos esparsos. Quero reduzir a dimensionalidade para algum lugar da ordem dos recursos densos de 1 a 5 mil. sklearn.decomposition.PCAnão funciona com dados esparsos e tentei usar, sklearn.decomposition.TruncatedSVDmas obtive um erro de...
Eu tenho tentado entender como representar e modelar dados para fazer uma previsão de séries temporais multidimensionais e multivariadas usando Keras (ou TensorFlow), mas ainda não sou muito claro depois de ler muitas postagens / tutoriais / documentação de blog sobre como apresentar os dados no...
O t-SNE, como em [1], trabalha reduzindo progressivamente a divergência de Kullback-Leibler (KL), até que uma determinada condição seja atendida. Os criadores do t-SNE sugerem usar a divergência de KL como critério de desempenho para as visualizações: você pode comparar as divergências de...
Estou criando um chatbot simples. Eu quero obter as informações da resposta do usuário. Um cenário de exemplo: Bot : Hi, what is your name? User: My name is Edwin. Desejo extrair o nome Edwin da frase. No entanto, o usuário pode responder de diferentes maneiras, como User: Edwin is my...
Estou trabalhando com Python, scikit-learn e keras. Tenho 3000 mil imagens de relógios de frente, como os seguintes: Watch_1 , Watch_2 , Watch_3 . Quero escrever um programa que receba como entrada uma foto de um relógio real que talvez seja tirada em condições menos ideais do que as fotos acima...