Meus dados incluem respostas de pesquisa binárias (numéricas) e nominais / categóricas. Todas as respostas são discretas e no nível individual. Os dados têm forma (n = 7219, p = 105). Algumas coisas: Estou tentando identificar uma técnica de agrupamento com uma medida de similaridade que...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Atualmente, estou trabalhando em um modelo de regressão logística para genômica. Um dos campos de entrada que quero incluir como covariável é genes. Existem cerca de 24.000 genes conhecidos. Existem muitos recursos com esse nível de variabilidade na biologia computacional e centenas de milhares de...
Eu estava analisando o classificador criado usando uma árvore de decisão. Há um parâmetro de ajuste chamado max_depth na árvore de decisão do scikit . Isso é equivalente a podar uma árvore de decisão? Caso contrário, como podar uma árvore de decisão usando o scikit? dt_ap =...
Uma visão geral do processo de otimização de hiperparâmetros no scikit-learn está aqui . A pesquisa exaustiva na grade encontrará o conjunto ideal de hiperparâmetros para um modelo. A desvantagem é que a busca exaustiva na grade é lenta. A pesquisa aleatória é mais rápida que a pesquisa em grade,...
Estou planejando usar o classificador SVM (scikit linear support vector machine) para classificação de texto em um corpus composto por 1 milhão de documentos rotulados. O que pretendo fazer é que, quando um usuário digitar alguma palavra-chave, o classificador primeiro a classifique em uma...
Eu tenho um conjunto de dados contendo dados sobre temperatura, precipitação e produtividade de soja de uma fazenda por 10 anos (2005 - 2014). Gostaria de prever os rendimentos para 2015 com base nesses dados. Observe que o conjunto de dados possui valores DIARIOS para temperatura e precipitação,...
Li a explicação da convolução e a compreendi até certo ponto. Alguém pode me ajudar a entender como essa operação se relaciona à convolução nas redes neurais convolucionais? O filtro é uma função gque aplica
Eu tenho um conjunto de dados que inclui um conjunto de clientes em diferentes cidades da Califórnia, o horário da chamada para cada cliente e o status da chamada (True se o cliente atender a chamada e False se o cliente não atender). Preciso encontrar um horário adequado para ligar para futuros...
Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:].
Treinei um modelo de previsão com o Scikit Learn em Python (Random Forest Regressor) e quero extrair de alguma forma os pesos de cada recurso para criar uma ferramenta de excel para previsão manual. A única coisa que encontrei é a model.feature_importances_mas não ajuda. Existe alguma maneira de...
Estou tentando entender como entender completamente o processo de decisão de um modelo de classificação de árvore de decisão criado com o sklearn. O principal aspecto que estou vendo é uma representação gráfica da árvore e a lista de importâncias de recursos. O que não entendo é como a importância...
Estou trabalhando na classificação de texto, onde tenho 39 categorias / classes e 8,5 milhões de registros. (No futuro, dados e categorias aumentarão). Estrutura ou formato dos meus dados é o seguinte. ---------------------------------------------------------------------------------------- |...
Tenho desequilíbrio de classe na proporção 1:15, ou seja, taxa de eventos muito baixa. Então, para selecionar os parâmetros de ajuste do GBM no scikit learn, quero usar Kappa em vez da pontuação F1. Meu entendimento é que Kappa é uma métrica melhor que a pontuação da F1 para o desequilíbrio de...
Minha pergunta é tripla No contexto de máquinas de vetores de suporte "Kernelized" A seleção de variável / recurso é desejável - especialmente porque regularizamos o parâmetro C para evitar o excesso de ajuste e o principal motivo por trás da introdução de kernels em um SVM é aumentar a...
Eu sou novo no campo de aprendizado de máquina, mas já fiz minha parte no processamento de sinais. Informe-me se esta pergunta foi classificada incorretamente. Eu tenho dados bidimensionais que são definidos por pelo menos três variáveis, com um modelo altamente não linear muito complicado para...
Eu tenho dados de treinamento rotulados com valores binários. Eu também coletei a confiança de cada um desses rótulos, ou seja, 0,8 de confiança significaria que 80% das etiquetadoras humanas concordam com esse rótulo. É possível usar esses dados de confiança para melhorar a precisão do meu...
Especialistas da minha área são capazes de prever a probabilidade de um evento (pico binário em amarelo) 30 minutos antes da ocorrência . A frequência aqui é de 1 segundo; essa visão representa algumas horas de dados; circulei em preto onde deveria estar o padrão "malicioso" . Existem interações...
Se eu entendi direito, o CV aninhado pode me ajudar a avaliar qual modelo e processo de ajuste de hiperparâmetro é melhor. O loop interno ( GridSearchCV) encontra os melhores hiperparâmetros e o loop externo ( cross_val_score) avalia o algoritmo de ajuste do hiperparâmetro. Em seguida, escolho qual...
Qual é a melhor / maneira correta de combinar a análise de texto com outros recursos? Por exemplo, eu tenho um conjunto de dados com algum texto, mas também outros recursos / categorias. O vetorizador TF-IDF do SKlearn transforma dados de texto em matrizes esparsas. Eu posso usar essas matrizes...