Estou tentando avaliar o desempenho do cluster. Eu estava lendo a documentação do skiscit-learn em métricas . Eu não entendo a diferença entre ARI e AMI. Parece-me que eles fazem a mesma coisa de duas maneiras diferentes. Citando a partir da documentação: Dado o conhecimento das atribuições...
Qual é a melhor maneira de preparar interações de recursos categóricos antes de se adaptar ao scikit-learn? Com statsmodelseu poderia dizer convenientemente em estilo R smf.ols(formula = 'depvar ~ C(var1)*C(var2)', data=df).fit()(o mesmo em Stata com regress depvar i.var1##i.var2). Pode...
Um problema que ocorre com frequência em meus experimentos é que o modelo varia no desempenho quando o estado aleatório do algoritmo é alterado. Portanto, a pergunta é simples, devo tomar o estado aleatório como um hiperparâmetro? Por que é que? Se meu modelo supera outras pessoas com diferentes...
Para floresta aleatória, dividimos o nó por Gini impureza ou entropia para um conjunto de recursos. O RandomForestClassifier no sklearn, podemos optar por dividir usando o critério Gini ou Entropy. No entanto, o que eu li sobre o Extra-Trees Classifier, um valor aleatório é selecionado para a...
Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso...
Não encontrei nenhuma literatura sobre a aplicação de florestas aleatórias no MNIST, CIFAR, STL-10, etc., então pensei em experimentá-las com o MNIST invariante, permutador . Em R , tentei: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Isso foi executado por 2 horas e...
Gostaria de codificar um kmeans agrupado em python usando pandas e scikit learn. Para selecionar o bom k, gostaria de codificar a estatística Gap de Tibshirani e al 2001 ( pdf ). Gostaria de saber se poderia usar o resultado de inércia_ do scikit e adaptar a fórmula estatística de gap sem precisar...
Existem vários sites que descrevem a descida do gradiente para encontrar os parâmetros para a regressão linear simples ( aqui está um deles). O Google também a descreve em seu novo curso de ML (para o público). No entanto, na Wikipedia , são fornecidas as seguintes fórmulas para calcular os...
Eu sou novo no aprendizado de máquina e tento usar o scikit-learn (sklearn) para lidar com um problema de classificação. O DecisionTree e o SVM podem treinar um classificador para esse problema. Uso sklearn.ensemble.RandomForestClassifiere sklearn.svm.SVCajusto os mesmos dados de treinamento...
Sou iniciante no aprendizado de máquina (terminei o curso de Ng), estou usando o scikit-learn em python. Quero encontrar a melhor maneira de detectar anomalias em nosso sistema. Temos eventos em andamento que ocorrem em um cronograma (a cada poucos minutos / hora) e quero detectar quando algo...
Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o...
Eu queria saber se alguém aqui pode explicar a diferença entre o modo de normalização l1, l2 e max no módulo sklearn.preprocessing.normalize ()? Depois de ler a documentação , não percebi a
Existe algum algoritmo de classificação que atribua um novo vetor de teste ao cluster de pontos cuja distância média é mínima? Deixe-me escrever melhor: vamos imaginar que temos KKK aglomerados de TkTkT_kaponta cada. Para cada cluster k, calculo a média de todas as distâncias entrex(0)x(0)x(0) e...
Esta pergunta já foi feita antes, mas não houve respostas, então pensei em perguntar novamente. Estou interessado em aplicar uma penalidade de laço a algum subconjunto dos regressores, ou seja, com função objetivo E=||y−X1β1−X2β2||2+λ||β1||1E=||y−X1β1−X2β2||2+λ||β1||1E = ||\mathbf{y} -...
Estou usando vários algoritmos de cluster do sklearn para agrupar alguns dados e não consigo descobrir o que está acontecendo com o DBSCAN. Meus dados são uma matriz de termos de documento do TfidfVectorizer, com algumas centenas de documentos pré-processados. Código: tfv =...
Eu tenho um conjunto de dados com classes desequilibradas. Três classes compõem cerca de 60% dos dados. Além disso, tenho divisões de teste diferentes que causam um desequilíbrio. Por exemplo: Conjunto de trens: label_1 ... label_n Conjunto de teste: label_1, label_3, label_9 Isso significa...
A classe de regressão linear sklearn padrão encontra uma relação linear aproximada entre variável e covariável que minimiza o erro quadrado médio (MSE). Especificamente, seja o número de observações e vamos ignorar a interceptação por simplicidade. Seja o valor variável da ésima observação e sejam...