Técnicas estatísticas usadas para prever resultados.
A lógica geralmente afirma que, ao sobreajustar um modelo, sua capacidade de generalizar é limitada, embora isso possa significar apenas que a sobreajuste impede que um modelo melhore após uma certa complexidade. O ajuste excessivo faz com que os modelos piorem, independentemente da complexidade...
Portanto, não consegui encontrar nenhuma literatura sobre esse assunto, mas parece que vale a pena pensar em algo: Quais são as melhores práticas no treinamento e otimização de modelos se novas observações estiverem disponíveis? Existe alguma maneira de determinar o período / frequência de...
Neste link sobre estacionariedade e diferenciação , foi mencionado que modelos como o ARIMA requerem uma série temporal estacionária para previsão, pois suas propriedades estatísticas como média, variação, autocorrelação etc. são constantes ao longo do tempo. Como as RNNs têm uma capacidade melhor...
Dada uma frase: "Quando eu abrir a ?? porta que começa a aquecer automaticamente" Gostaria de obter a lista de possíveis palavras em ?? com uma probabilidade. O conceito básico usado no modelo word2vec é "prever" uma palavra, dada o contexto circundante. Depois que o modelo é construído, qual é...
Eu tenho características esparsas que são preditivas, também tenho algumas características densas que também são preditivas. Preciso combinar esses recursos para melhorar o desempenho geral do classificador. Agora, quando tento combiná-los, os recursos densos tendem a dominar mais sobre os...
A função de previsão abaixo também fornece valores -ve, portanto não podem ser probabilidades. param <- list(max.depth = 5, eta = 0.01, objective="binary:logistic",subsample=0.9) bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000) pred_s <- predict(bst, x_mat_s2) Eu google...
Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de imprimir o todo, dfindependentemente do seu...
Parece ter se tornado axiomático que um conjunto de alunos leve aos melhores resultados possíveis de modelos - e está se tornando muito mais raro, por exemplo, modelos únicos ganharem competições como o Kaggle. Existe uma explicação teórica para o porquê dos conjuntos serem tão efetivamente...
Quando algoritmos ML, por exemplo, Vowpal Wabbit ou algumas das máquinas de fatoração que vencem competições de taxa de cliques ( Kaggle ), mencionam que os recursos são 'hash', o que isso realmente significa para o modelo? Vamos dizer que existe uma variável que representa o ID de um complemento...
Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of...
Suponha que eu tenha uma função suave como . Eu tenho um conjunto de treinamento D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} e, é claro, eu não sei f, embora possa avaliar f onde quiser. D ⊊ { ( ( x , y ) , f ( x , y ) ) | ( x , y ) ∈ R 2 } f ff( x , y) = x2+...
Gostaria de executar algum modelo de aprendizado de máquina como floresta aleatória, aumento de gradiente ou SVM no meu conjunto de dados. Existem mais de 200 variáveis preditivas no meu conjunto de dados e minhas classes de destino são uma variável binária. Preciso executar a seleção de...
Depois de desenvolver meu modelo preditivo usando a Floresta Aleatória, recebo as seguintes métricas: Train Accuracy :: 0.9764634601043997 Test Accuracy :: 0.7933284397683713 Confusion matrix [[28292 1474] [ 6128 889]] Estes são os resultados deste código: training_features, test_features,...
Estou prototipando um aplicativo e preciso de um modelo de linguagem para calcular a perplexidade em algumas frases geradas. Existe algum modelo de linguagem treinado em python que eu possa usar facilmente? Algo simples como model = LanguageModel('en') p1 = model.perplexity('This is a well...
O que significa "linha de base" no contexto de aprendizado de máquina e ciência de dados? Alguém me escreveu: Dica: Uma linha de base apropriada fornecerá um RMSE de aproximadamente 200. Eu não entendo isso. Ele quer dizer que, se meu modelo preditivo nos dados de treinamento tiver um RMSE...
Eu quero evitar o excesso de ajustes na floresta aleatória. A esse respeito, pretendo usar mtry, nodesize e maxnodes etc. Você poderia me ajudar a escolher valores para esses parâmetros? Eu estou usando R. Além disso, se possível, diga-me como posso usar a validação cruzada k-fold para floresta...
Quero fazer uma previsão do resultado das eleições parlamentares. Minha saída será a% que cada parte recebe. Como existem mais de duas partes, a regressão logística não é uma opção viável. Eu poderia fazer uma regressão separada para cada parte, mas nesse caso os resultados seriam de alguma maneira...
Estatísticas comuns de validação de modelo, como o teste Kolmogorov – Smirnov (KS), AUROC e Gini, estão todas relacionadas funcionalmente. No entanto, minha pergunta tem a ver com provar como tudo isso está relacionado. Estou curioso para saber se alguém pode me ajudar a provar esses...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou
Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:].