Estou ajustando um HLM Bayesiano no JAGS usando a validação cruzada em dobra k (k = 5). Gostaria de saber se as estimativas do parâmetro são estáveis em todas as dobras. Qual é a melhor forma de fazer isso?ββ\beta Uma idéia é encontrar as diferenças dos posteriores de e ver se 0 está no IC de...
A regularização pode ser útil se estivermos interessados apenas em estimar (e interpretar) os parâmetros do modelo, e não em previsão ou previsão? Vejo como a regularização / validação cruzada é extremamente útil se seu objetivo é fazer boas previsões sobre novos dados. Mas e se você estiver...
Eu tenho um conjunto de dados de 140000 exemplos e 30 recursos para os quais estou treinando vários classificadores para uma classificação binária (SVM, Regressão Logística, Floresta Aleatória etc.) Em muitos casos, o ajuste de hiperparâmetros em todo o conjunto de dados usando a pesquisa em grade...
Nos livros de texto e nas palestras do youtube, aprendi muito sobre modelos iterativos, como impulsionar, mas nunca vi nada sobre derivar um intervalo de previsão. A validação cruzada é usada para o seguinte: Seleção de modelo : experimente diferentes modelos e escolha o que melhor se adapta. No...
Me deparei com este tópico, olhando para as diferenças entre inicialização e validação cruzada - ótimas respostas e referências a propósito. O que estou me perguntando agora é: se eu deveria executar um CV repetido de 10 vezes, para calcular a precisão de um classificador, quantas vezes n devo...
Suponha que eu faça validação cruzada com dobra K com K = 10 dobras. Haverá uma matriz de confusão para cada dobra. Ao relatar os resultados, devo calcular qual é a matriz de confusão média ou somar as matrizes de
Eu tenho um conjunto de dados com N ~ 5000 e faltando cerca de 1/2 em pelo menos uma variável importante. O principal método analítico serão os riscos proporcionais de Cox. Eu pretendo usar várias imputações. Também estarei me dividindo em um trem e um conjunto de testes. Devo dividir os dados e...
Estou usando cv.glmnetpara encontrar preditores. A configuração que eu uso é a
De Uma Introdução à Aprendizagem Estatística de James et al., A estimativa de validação cruzada de saída única (LOOCV) é definida por que .cv( N )= 1n∑i = 1nMSEEucv(n)=1n∑Eu=1nMSEEu\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEEu= ( yEu- y^Eu)2MSEEu=(yEu-y^Eu)2\text{MSE}_i =...
Eu sei que, para acessar o desempenho do classificador, tenho que dividir os dados em conjunto de treinamento / teste. Mas lendo isso : Ao avaliar configurações diferentes ("hiperparâmetros") para estimadores, como a configuração C que deve ser definida manualmente para um SVM, ainda existe o...
Em primeiro lugar, desculpas por postar uma pergunta que já foi discutida extensivamente aqui , aqui , aqui , aqui , aquie para reaquecer um tópico antigo. Eu sei que o @DikranMarsupial já escreveu sobre esse tópico em posts e artigos de periódicos, mas ainda estou confuso e, a julgar pelo número...
Para calibrar um nível de confiança para uma probabilidade de aprendizado supervisionado (digamos, mapear a confiança de um SVM ou de uma árvore de decisão usando dados superamostrados), um método é usar o Escala de Platt (por exemplo, Obtendo Probabilidades Calibradas do Impulso ). Basicamente,...
Suponha que eu tenha distribuído dados normalmente. Para cada elemento dos dados, quero verificar quantos SDs estão longe da média. Pode haver um erro nos dados (provavelmente apenas um, mas também pode haver dois ou três) ou não, mas esse erro é basicamente o que estou procurando. Faz sentido...
Estou usando modelos SVM para fazer previsões de curto prazo de poluentes do ar. Para treinar um novo modelo, preciso encontrar metaparameters apropriados para um modelo SVM (refiro-me a C, gama e assim por diante). A documentação do Libsvm (e muitos outros livros que li) sugere o uso da pesquisa...
Alguém pode me dizer o que exatamente uma análise de validação cruzada fornece como resultado? É apenas a precisão média ou fornece algum modelo com parâmetros ajustados? Porque, ouvi em algum lugar que a validação cruzada é usada para ajuste de
Se eu tiver dados e executar uma classificação (digamos floresta aleatória nesses dados) com validação cruzada (digamos 5 vezes), posso concluir que não há ajuste excessivo no meu
Tenho usado repetidas vezes a validação cruzada de dobras em k e relatado a média (da métrica de avaliação, por exemplo, sensibilidade, especificidade) calculada como a grande média entre as dobras de diferentes execuções da validação cruzada. No entanto, não tenho certeza de como devo reportar a...
Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma...
Me deparei com este artigo de 2012 de Gitte Vanwinckelen e Hendrik Blockeel questionando a utilidade da validação cruzada repetida, que se tornou uma técnica popular para reduzir a variação da validação cruzada. Os autores demonstraram que, embora a validação cruzada repetida diminua a variação...
O pacote de interpolação é uma biblioteca R brilhante para a construção de vários modelos de aprendizado de máquina e possui várias funções para construção e avaliação de modelos. Para ajuste de parâmetros e treinamento do modelo, o pacote de interpolação de mão oferece 'repeatcv' como um dos...