Estou usando 2 tipos de regressão logística - um é o tipo simples, para classificação binária, e o outro é regressão logística ordinal. Para calcular a precisão do primeiro, usei a validação cruzada, onde calculei a AUC para cada dobra e calculei a AUC média. Como posso fazer isso para a regressão...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
Talvez essa seja uma pergunta tola, mas, ao gerar um modelo com sinal de intercalação e usar algo como LOOCVou (ainda mais direto ao ponto) LGOCV, qual é o benefício de dividir dados em conjuntos de trens e testes, se é basicamente isso que a etapa de validação cruzada faz assim mesmo? Eu li...
Eu tenho um modelo de regressão simples ( y = param1 * x1 + param2 * x2 ). Quando ajusto o modelo aos meus dados, encontro duas boas soluções: A solução A, parâmetros = (2,7), é melhor no conjunto de treinamento com RMSE = 2,5 MAS! Parâmetros da solução B = (24,20) ganha muito no conjunto de...
Percebo que existem 3 parâmetros de ajuste no modelo de árvores de reforço, ou seja, o número de árvores (número de iterações) parâmetro de encolhimento número de divisões (tamanho de cada árvore constituinte) Minha pergunta é: para cada um dos parâmetros de ajuste, como devo encontrar seu...
Estou trabalhando na validação cruzada da previsão dos meus dados com 200 indivíduos e 1000 variáveis. Estou interessado em regressão de cume porque o número de variáveis (eu quero usar) é maior que o número de amostra. Então, eu quero usar estimadores de encolhimento. A seguir, são compostos...
Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso...
Suponha que, em uma análise de regressão em R, eu tenha uma variável independente do tipo de fator com 3 níveis no meu conjunto de dados de trem. Mas no conjunto de dados de teste essa mesma variável de fator tem 5 níveis. Portanto, não posso prever os valores de resposta para o conjunto de dados...
Na Floresta Aleatória, cada árvore é cultivada em paralelo em uma amostra exclusiva dos dados. Como se espera que cada amostra do boostrap contenha cerca de 63% das observações exclusivas, isso deixa cerca de 37% das observações de fora, que podem ser usadas para testar a árvore. Agora, parece que...
Eu tenho alguns modelos preditivos cujo desempenho eu gostaria de testar novamente (ou seja, levar meu conjunto de dados, "rebobinar" para um ponto anterior no tempo e ver como o modelo teria um desempenho prospectivo). O problema é que alguns dos meus modelos foram criados através de um processo...
A função R cv.glm (library: boot) calcula o erro de previsão de validação cruzada estimado em dobras K para modelos lineares generalizados e retorna delta. Faz sentido usar essa função para uma regressão do laço (library: glmnet) e, em caso afirmativo, como pode ser realizada? A biblioteca glmnet...
Ao usar o CV com dobra k para selecionar entre os modelos de regressão, geralmente calculo o erro CV separadamente para cada modelo, juntamente com o erro padrão SE, e seleciono o modelo mais simples dentro de 1 SE do modelo com o menor erro CV (o 1 regra de erro padrão, veja, por exemplo, aqui )....
Li as duas páginas da wikipedia de análise de sensibilidade e validação de modelo (aqui, apenas validação de regressão linear), mas não consigo encontrar uma maneira de separar esses dois termos. Tenho a impressão de que o primeiro é mais utilizado na academia e na engenharia em geral e o segundo...
Li os classificadores algébricos: uma abordagem genérica para validação cruzada rápida, treinamento on-line e paralelo e fiquei impressionado com o desempenho dos algoritmos derivados. No entanto, parece que além de Naive Bayes (e GBMs) não existem muitos algoritmos adaptados à estrutura. Existem...
A AIC é frequentemente recomendado como critério para comparar modelos para previsão de séries temporais. Veja, por exemplo, isso no contexto de modelos de regressão dinâmica : O AIC pode ser calculado para o modelo final e esse valor pode ser usado para determinar os melhores preditores. Ou...
Estou implementando validação cruzada e calculando métricas de erro como RMSE, , MAE, MSE, etc.R2R2R^2 RMSE e MAE podem ter o mesmo
Nos elementos do aprendizado estatístico , encontrei a seguinte declaração: Há uma qualificação: as etapas iniciais de triagem não supervisionada podem ser feitas antes que as amostras sejam deixadas de fora. Por exemplo, podemos selecionar os 1000 preditores com maior variação em todas as 50...
Entendo o conceito de validação cruzada com dobras k , mas não entendo o que significa "dobra". Citando a partir da página vinculada na wikipedia: O processo de validação cruzada é repetido k vezes (as dobras) Isso parece muito vago. A 'dobra' se refere a cada repetição do processo? Ou é um...