Suponha que tenhamos o seguinte quadro de dados com vários valores para uma determinada coluna: categories 0 - ["A", "B"] 1 - ["B", "C", "D"] 2 - ["B", "D"] Como podemos obter uma mesa como esta? "A" "B" "C" "D" 0 - 1 1 0 0 1 - 0 1 1 1 2 - 0 1 0 1 Nota: Não preciso necessariamente de um novo...
Estou trabalhando na classificação de texto, onde tenho 39 categorias / classes e 8,5 milhões de registros. (No futuro, dados e categorias aumentarão). Estrutura ou formato dos meus dados é o seguinte. ---------------------------------------------------------------------------------------- |...
Quando salva em disco usando o cPickle: /programming/20662023/save-python-random-forest-model-to-file , minha floresta aleatória tem 6,57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Quero usar a própria floresta para fazer previsões por meio de uma API python hospedada...
Estou procurando um pacote Python que implemente regressão linear multivariada. (Nota terminológica: a regressão multivariada trata do caso em que há mais de uma variável dependente, enquanto a regressão múltipla trata do caso em que há uma variável dependente, mas mais de uma variável...
Estou usando a biblioteca marítima para gerar gráficos de barras em python. Gostaria de saber quais estatísticas são usadas para calcular as barras de erro, mas não consigo encontrar nenhuma referência a isso na documentação do gráfico de barras do seaborn . Sei que os valores das barras são...
Estou tentando treinar essa implementação Keras do Deeplabv3 + no Pascal VOC2012, usando o modelo pré-treinado (que também foi treinado nesse conjunto de dados). Eu obtive resultados estranhos com a precisão convergindo rapidamente para a 1.0: 5/5 [==============================] - 182s 36s/step...
Estou procurando uma biblioteca Python que possa calcular a matriz de confusão para a classificação de vários rótulos . PARA SUA INFORMAÇÃO: O scikit-learn não suporta rótulos múltiplos para matriz de confusão) Qual é a diferença entre Multiclass e Multilabel
Treinei um modelo de previsão com o Scikit Learn em Python (Random Forest Regressor) e quero extrair de alguma forma os pesos de cada recurso para criar uma ferramenta de excel para previsão manual. A única coisa que encontrei é a model.feature_importances_mas não ajuda. Existe alguma maneira de...
Suponha que eu tenha dados misturados e código (python) capaz de executar PCA (análise de componentes principais) em preditores contínuos e MCA (análise de correspondência múltipla) em preditores nominais. É possível combinar resultados do PCA e MCA em
Eu gostaria de usar o gráfico de distância knn para descobrir qual valor eps devo escolher para o algoritmo DBSCAN. Com base nesta página: A idéia é calcular a média das distâncias de cada ponto até seus k vizinhos mais próximos. O valor de k será especificado pelo usuário e corresponde a...
Eu tenho um conjunto de dados para o qual estou tentando prever variáveis de destino. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 2 23 11 4 2 22 12 14 2 22 11 43 38 3 Forneci dados de amostra, mas o meu possui milhares de...
Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma...
Especialistas da minha área são capazes de prever a probabilidade de um evento (pico binário em amarelo) 30 minutos antes da ocorrência . A frequência aqui é de 1 segundo; essa visão representa algumas horas de dados; circulei em preto onde deveria estar o padrão "malicioso" . Existem interações...
Estou escrevendo um script para gravar dados ao vivo ao longo do tempo em um único arquivo HDF5 que inclui todo o meu conjunto de dados para este projeto. Estou trabalhando com o Python 3.6 e decidi criar uma ferramenta de linha de comando usando clickpara coletar os dados. Minha preocupação é o...
Eu tenho um conjunto de dados com 19 colunas e cerca de 250k linhas. Eu trabalhei com conjuntos de dados maiores, mas desta vez o Pandas decidiu brincar com meus nervos. Tentei dividir o conjunto de dados original em 3 subframes com base em algumas regras simples. No entanto, leva muito tempo para...
Como o método interpolar e fillna faz o mesmo trabalho de preencher um valor. Qual é a diferença básica entre os dois. Qual é o significado de ter esses dois métodos diferentes? Alguém pode me explicar em termos leigos. Eu já visitei a documentação oficial e queria saber a...
Estou tentando descobrir como usar o chunker em cascata do NLTK conforme o Capítulo 7 do livro do NLTK . Infelizmente, estou tendo alguns problemas ao executar medidas de fragmentação não triviais. Vamos começar com esta frase: "adventure movies between 2000 and 2015 featuring performances by...
Quero fazer previsões um passo à frente para séries temporais com LSTM. Para entender o algoritmo, criei um exemplo de brinquedo: um processo autocorrelacionado simples. def my_process(n, p, drift=0, displacement=0): x = np.zeros(n) for i in range(1, n): x[i] = drift * i + p * x[i-1] + (1-p) *...
Qual é a melhor / maneira correta de combinar a análise de texto com outros recursos? Por exemplo, eu tenho um conjunto de dados com algum texto, mas também outros recursos / categorias. O vetorizador TF-IDF do SKlearn transforma dados de texto em matrizes esparsas. Eu posso usar essas matrizes...
Estou fazendo uma análise de dados exploratória em alguns dados e recebo estes histogramas: Isso parece um candidato para uma transformação de log nos dados, então eu executo o seguinte código Python para transformar os