Eu sei que, para acessar o desempenho do classificador, tenho que dividir os dados em conjunto de treinamento / teste. Mas lendo isso : Ao avaliar configurações diferentes ("hiperparâmetros") para estimadores, como a configuração C que deve ser definida manualmente para um SVM, ainda existe o...
Estou usando cv.glmnetpara encontrar preditores. A configuração que eu uso é a
De Uma Introdução à Aprendizagem Estatística de James et al., A estimativa de validação cruzada de saída única (LOOCV) é definida por que .cv( N )= 1n∑i = 1nMSEEucv(n)=1n∑Eu=1nMSEEu\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEEu= ( yEu- y^Eu)2MSEEu=(yEu-y^Eu)2\text{MSE}_i =...
Suponha que eu faça validação cruzada com dobra K com K = 10 dobras. Haverá uma matriz de confusão para cada dobra. Ao relatar os resultados, devo calcular qual é a matriz de confusão média ou somar as matrizes de
Para calibrar um nível de confiança para uma probabilidade de aprendizado supervisionado (digamos, mapear a confiança de um SVM ou de uma árvore de decisão usando dados superamostrados), um método é usar o Escala de Platt (por exemplo, Obtendo Probabilidades Calibradas do Impulso ). Basicamente,...
Em primeiro lugar, desculpas por postar uma pergunta que já foi discutida extensivamente aqui , aqui , aqui , aqui , aquie para reaquecer um tópico antigo. Eu sei que o @DikranMarsupial já escreveu sobre esse tópico em posts e artigos de periódicos, mas ainda estou confuso e, a julgar pelo número...
Estou usando modelos SVM para fazer previsões de curto prazo de poluentes do ar. Para treinar um novo modelo, preciso encontrar metaparameters apropriados para um modelo SVM (refiro-me a C, gama e assim por diante). A documentação do Libsvm (e muitos outros livros que li) sugere o uso da pesquisa...
Suponha que eu tenha distribuído dados normalmente. Para cada elemento dos dados, quero verificar quantos SDs estão longe da média. Pode haver um erro nos dados (provavelmente apenas um, mas também pode haver dois ou três) ou não, mas esse erro é basicamente o que estou procurando. Faz sentido...
Se eu tiver dados e executar uma classificação (digamos floresta aleatória nesses dados) com validação cruzada (digamos 5 vezes), posso concluir que não há ajuste excessivo no meu
Alguém pode me dizer o que exatamente uma análise de validação cruzada fornece como resultado? É apenas a precisão média ou fornece algum modelo com parâmetros ajustados? Porque, ouvi em algum lugar que a validação cruzada é usada para ajuste de
Tenho usado repetidas vezes a validação cruzada de dobras em k e relatado a média (da métrica de avaliação, por exemplo, sensibilidade, especificidade) calculada como a grande média entre as dobras de diferentes execuções da validação cruzada. No entanto, não tenho certeza de como devo reportar a...
Me deparei com este artigo de 2012 de Gitte Vanwinckelen e Hendrik Blockeel questionando a utilidade da validação cruzada repetida, que se tornou uma técnica popular para reduzir a variação da validação cruzada. Os autores demonstraram que, embora a validação cruzada repetida diminua a variação...
Se você ajustar uma função não linear a um conjunto de pontos (supondo que haja apenas uma ordenada para cada abcissa), o resultado poderá ser: uma função muito complexa com pequenos resíduos uma função muito simples com grandes resíduos A validação cruzada é comumente usada para encontrar o...
O pacote de interpolação é uma biblioteca R brilhante para a construção de vários modelos de aprendizado de máquina e possui várias funções para construção e avaliação de modelos. Para ajuste de parâmetros e treinamento do modelo, o pacote de interpolação de mão oferece 'repeatcv' como um dos...
Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma...
Li as seguintes postagens para validação cruzada aninhada e ainda não tenho 100% de certeza do que devo fazer com a seleção de modelo com validação cruzada aninhada: Validação cruzada aninhada para seleção de modelo Seleção de modelos e validação cruzada: o caminho certo Para explicar minha...
Eu tenho um conjunto de dados de 120 amostras em uma configuração de validação cruzada de 10 vezes. Atualmente, eu escolho os dados de treinamento do primeiro holdout e faço uma validação cruzada 5 vezes para escolher os valores de gama e C pela pesquisa em grade. Estou usando o SVM com o kernel...
Acabei de assistir novamente a uma palestra do curso Machine Learning no Coursera. Na seção em que o professor discute o PCA para pré-processamento de dados em aplicativos de aprendizado supervisionado, ele diz que o PCA deve ser executado apenas nos dados de treinamento e, em seguida, o mapeamento...
Eu sou relativamente novo em florestas aleatórias. No passado, sempre comparei a precisão do ajuste contra o teste contra o ajuste contra o trem para detectar qualquer ajuste excessivo. Mas acabei de ler aqui que: "Em florestas aleatórias, não há necessidade de validação cruzada ou de um...
Eu sou muito novo em análise de dados funcionais (FDA). Estou lendo: Ramsay, James O. e Silverman, Bernard W. (2006), Functional Data Analysis, 2ª ed., Springer, Nova York. No entanto, ainda não estou muito claro onde / quando usar o FDA? Alguém poderia me dar um exemplo, especialmente em...