Minhas perguntas tratam de GAMs no pacote mgcv R. Devido a um pequeno tamanho de amostra, desejo determinar o erro de previsão usando a validação cruzada de exclusão única. Isso é razoável? Existe um pacote ou código como eu posso fazer isso? A errorest()função no pacote ipred não funciona. Um...
Eu tenho um GLMM do formulário: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), obtenho resultados diferentes dos que utilizo Anova(model, type="III")na embalagem do carro ou summary(model). Estes dois...
Ao dividir meus dados rotulados em conjuntos de treinamento, validação e teste, ouvi de 50/25/25 a 85/5/10. Estou certo de que isso depende de como você usará o seu modelo e de quão propenso a sobreajustar o seu algoritmo de aprendizado. Existe uma maneira de decidir ou é tudo por regra geral? Até...
Estou tentando ajustar um modelo de tempo discreto no R, mas não sei como fazê-lo. Eu li que você pode organizar a variável dependente em linhas diferentes, uma para cada observação no tempo, e usar a glmfunção com um link logit ou cloglog. Neste sentido, tem três colunas: ID, Event(1 ou 0, em...
Estou trabalhando em um conjunto de dados. Depois de usar algumas técnicas de identificação de modelos, criei um modelo ARIMA (0,2,1). Usei a detectIOfunção no pacote TSAem R para detectar um outlier inovador (IO) na 48ª observação do meu conjunto de dados original. Como faço para incorporar esse...
Digamos que eu tenha dois métodos de aprendizado para um problema de classificação , e , e que estimo o desempenho da generalização com algo como validação cruzada repetida ou inicialização. A partir deste processo, recebo uma distribuição das pontuações P_A e P_B para cada método nessas repetições...
A seleção de recursos deve ser realizada apenas nos dados de treinamento (ou todos os dados)? Passei por algumas discussões e artigos como Guyon (2003) e Singhi e Liu (2006) , mas ainda não tenho certeza sobre a resposta certa. Minha configuração da experiência é a seguinte: Conjunto de dados:...
Eu tenho uma regressão aleatória da floresta criada usando skl e observo que produzo resultados diferentes com base na definição da semente aleatória com valores diferentes. Se eu usar o LOOCV para estabelecer qual semente funciona melhor, esse é um método válido?
Eu obtive três modelos reduzidos de um modelo completo original usando seleção para a frente eliminação para trás Técnica de penalização L1 (LASSO) Para os modelos obtidos usando seleção direta / eliminação reversa, obtive a estimativa validada cruzada do erro de previsão usando o CVlmpacote...
Eu estou querendo saber como abordar adequadamente o treinamento e o teste de um modelo LASSO usando glmnet no R? Especificamente, estou pensando em como fazer isso, se a falta de um conjunto de dados de teste externo exigir que eu use a validação cruzada (ou outra abordagem semelhante) para...
Estive repensando uma resposta que dei a uma pergunta há algumas semanas A validação cruzada de retenção produz um único conjunto de testes que pode ser usado repetidamente para demonstração. Todos nós concordamos que isso é, de muitas maneiras, uma característica negativa, uma vez que o conjunto...
Suponha que eu tenha um tamanho pequeno de amostra, por exemplo, N = 100 e duas classes. Como devo escolher os tamanhos de treinamento, validação cruzada e conjunto de testes para aprendizado de máquina? Eu escolheria intuitivamente Tamanho do conjunto de treinamento como 50 Conjunto de...
Estou tentando descobrir se meu entendimento da validação cruzada aninhada está correto, por isso escrevi este exemplo de brinquedo para verificar se estou certo: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import...
Estou tentando utilizar a regressão de RF para fazer previsões sobre o desempenho de uma fábrica de papel. Eu tenho dados minuto a minuto para as entradas (taxa e quantidade de polpa de madeira entrando etc ...), bem como para o desempenho da máquina (papel produzido, energia consumida pela...
Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como isso difere de...
Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o...
Eu tenho alguns dados que existem em um gráfico . Os vértices pertencem a uma das duas classes e estou interessado em treinar um SVM para distinguir entre as duas classes. Um kernel apropriado para isso é o kernel de difusão , onde é o Laplaciano de e é um parâmetro de
Recentemente, comecei a usar a validação cruzada de amostras de importância suavizada Pareto (PSIS-LOO), descrita nestes documentos: Vehtari, A. e Gelman, A. (2015). Pareto suavizou a amostragem de importância. pré-impressão do arXiv ( link ). Vehtari, A., Gelman, A. e Gabry, J. (2016). Avaliação...
Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6...
Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...