Perguntas com a marcação «cross-validation»

29

Por que o xgboost é muito mais rápido que o sklearn GradientBoostingClassifier?

Estou tentando treinar um modelo de aumento de gradiente com mais de 50 mil exemplos com 100 recursos numéricos. XGBClassifierlida com 500 árvores em 43 segundos na minha máquina, enquanto GradientBoostingClassifierlida com apenas 10 árvores (!) em 1 minuto e 2 segundos :( Não me preocupei em...

scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

23

A modelagem com florestas aleatórias requer validação cruzada?

Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o...

random-forest cross-validation

23

Como usar a saída do GridSearch?

Atualmente, estou trabalhando com o Python e o Scikit para fins de classificação e, lendo o GridSearch, achei que essa era uma ótima maneira de otimizar meus parâmetros do estimador para obter os melhores resultados. Minha metodologia é esta: Dividir meus dados em treinamento / teste. Use o...

machine-learning cross-validation

21

Qual é a diferença entre bootstrapping e validação cruzada?

Eu costumava aplicar a validação cruzada K-fold para uma avaliação robusta dos meus modelos de aprendizado de máquina. Mas estou ciente da existência do método de inicialização para esse fim também. No entanto, não vejo a principal diferença entre eles em termos de estimativa de desempenho. Até...

cross-validation evaluation

21

Mesclando vários quadros de dados em linhas no PySpark

Eu tenho quadros 10 dados pyspark.sql.dataframe.DataFrame, obtidos a partir randomSplitde (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)agora eu quero participar 9 tdé em um único quadro de dados, como devo fazer isso? Eu...

python apache-spark cross-validation pyspark

17

Por que usar o conjunto de validação e o conjunto de teste?

Considere uma rede neural: Para um determinado conjunto de dados, dividimos em conjunto de treinamento, validação e teste. Suponha que façamos isso na proporção clássica 60:20:20 e evitemos o overfitting validando a rede verificando-a no conjunto de validação. Então, qual é a necessidade de...

machine-learning neural-network cross-validation

17

Como o parâmetro validation_split da função de ajuste de Keras funciona?

A divisão de validação na função de ajuste do modelo sequencial Keras está documentada da seguinte maneira em https://keras.io/models/sequential/ : validation_split: flutua entre 0 e 1. Fração dos dados de treinamento a serem usados como dados de validação. O modelo separará essa fração dos...

keras data cross-validation

16

aumentar o mapa de calor marítimo

Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de imprimir o todo, dfindependentemente do seu...

visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

12

Como escolher um classificador após a validação cruzada?

Quando fazemos a validação cruzada k-fold, devemos apenas usar o classificador que tem a maior precisão de teste? Qual é geralmente a melhor abordagem para obter um classificador da validação

machine-learning cross-validation

12

Quantas células LSTM devo usar?

Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of...

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

12

O sobreajuste pode ocorrer mesmo com a perda de validação ainda caindo?

Eu tenho um modelo convolucional + LSTM em Keras, semelhante a este (ref 1), que estou usando para um concurso Kaggle. A arquitetura é mostrada abaixo. Eu o treinei no meu conjunto rotulado de 11000 amostras (duas classes, a prevalência inicial é de ~ 9: 1, então eu ampliei os 1 para uma proporção...

keras cross-validation overfitting

11

Sobreajuste / insuficiente com tamanho do conjunto de dados

No gráfico abaixo, eixo x => Tamanho do conjunto de dados eixo y => Pontuação da validação cruzada A linha vermelha é para dados de treinamento A linha verde é para testar dados Em um tutorial ao qual estou me referindo, o autor diz que o ponto em que a linha vermelha e a linha...

machine-learning cross-validation

10

Como fazer produto interno em lote no Tensorflow?

Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:].

tensorflow scikit-learn svm cross-validation feature-selection bayesian machine-learning decision-trees parameter-estimation neural-network convnet neural-network regularization visualization machine-learning similarity python pandas indexing r data-cleaning machine-learning predictive-modeling data-cleaning recommender-system python sequential-pattern-mining software-recommendation r visualization gaussian distribution machine-learning data-mining bigdata apache-hadoop predictive-modeling logistic-regression sampling machine-learning regression feature-selection mongodb neural-network inception machine-learning classification dataset databases logistic-regression deep-learning backpropagation classification data-mining multilabel-classification text-mining data-cleaning unsupervised-learning anomaly-detection python r python pandas

10

Validação cruzada: dobra K versus subamostra aleatória repetida

Gostaria de saber que tipo de validação cruzada de modelo escolher para o problema de classificação: dobra K ou subamostragem aleatória (amostragem de inicialização)? Meu melhor palpite é usar 2/3 do conjunto de dados (que é ~ 1000 itens) para treinamento e 1/3 para validação. Nesse caso, a dobra...

cross-validation sampling

10

Relação entre convolução em matemática e CNN

Li a explicação da convolução e a compreendi até certo ponto. Alguém pode me ajudar a entender como essa operação se relaciona à convolução nas redes neurais convolucionais? O filtro é uma função gque aplica

machine-learning neural-network deep-learning cnn convolution machine-learning ensemble-modeling machine-learning classification data-mining clustering machine-learning feature-selection convnet pandas graphs ipython machine-learning apache-spark multiclass-classification naive-bayes-classifier multilabel-classification machine-learning data-mining dataset data-cleaning data machine-learning data-mining statistics correlation machine-learning data-mining dataset data-cleaning data beginner career python r visualization machine-learning data-mining nlp stanford-nlp dataset linear-regression time-series correlation anomaly-detection ensemble-modeling data-mining machine-learning python data-mining recommender-system machine-learning cross-validation model-selection scoring prediction sequential-pattern-mining categorical-data python tensorflow image-recognition statistics machine-learning data-mining predictive-modeling data-cleaning preprocessing classification deep-learning tensorflow machine-learning algorithms data keras categorical-data reference-request loss-function classification logistic-regression apache-spark prediction naive-bayes-classifier beginner nlp word2vec vector-space-models scikit-learn decision-trees data programming

10

Quando escolher a regressão linear ou a Árvore de Decisão ou a Floresta Aleatória? [fechadas]

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou

machine-learning algorithms random-forest linear-regression decision-trees machine-learning predictive-modeling forecast r clustering similarity data-mining dataset statistics text-mining text-mining data-cleaning data-wrangling machine-learning classification algorithms xgboost data-mining dataset dataset regression graphs svm unbalanced-classes cross-validation optimization hyperparameter genetic-algorithms visualization predictive-modeling correlation machine-learning predictive-modeling apache-spark statistics normalization apache-spark map-reduce r correlation confusion-matrix r data-cleaning classification terminology dataset image-classification machine-learning regression apache-spark machine-learning data-mining nlp parsing machine-learning dimensionality-reduction visualization clustering multiclass-classification evaluation unsupervised-learning machine-learning machine-learning data-mining supervised-learning unsupervised-learning machine-learning data-mining classification statistics predictive-modeling data-mining clustering python pandas machine-learning dataset data-cleaning data bigdata software-recommendation

9

Como abordar a competição numer.ai com preditores numéricos em escala anônima?

O Numer.ai já existe há algum tempo e parece haver apenas alguns posts ou outras discussões sobre o assunto na web. O sistema mudou de tempos em tempos e a configuração hoje é a seguinte: dados de trem (N = 96K) e teste (N = 33K) com 21 características com valores contínuos em [0,1] e um alvo...

machine-learning deep-learning cross-validation preprocessing competitions

9

O desempenho da validação cruzada será uma indicação precisa para prever o verdadeiro desempenho em um conjunto de dados independente?

Sinto que esta questão está relacionada à teoria por trás da validação cruzada. Apresento aqui minha descoberta empírica e escrevi uma pergunta relacionada à teoria da validação cruzada lá . Eu tenho dois modelos M1 e M2, uso o mesmo conjunto de dados para treiná-los e execute a validação cruzada...

cross-validation

8

Modelos de Machine Learning no ambiente de produção

Digamos que um modelo foi treinado na data usando os dados disponíveis, divididos em treinamento e teste, ou seja, , . Esse modelo é implantado na produção e faz previsões sobre os novos dados recebidos. Alguns dias passam e há um monte de dados rotulados que são coletados entre e dias, vamos...

machine-learning cross-validation model-selection data-product

8

Validação cruzada aninhada e seleção do melhor modelo de regressão - este é o processo SKLearn correto?

Se eu entendi direito, o CV aninhado pode me ajudar a avaliar qual modelo e processo de ajuste de hiperparâmetro é melhor. O loop interno ( GridSearchCV) encontra os melhores hiperparâmetros e o loop externo ( cross_val_score) avalia o algoritmo de ajuste do hiperparâmetro. Em seguida, escolho qual...

python scikit-learn cross-validation model-selection