Estou tentando entender a validação cruzada para regressão logística ordinal. O objetivo do jogo é validar o modelo usado em uma análise ... Primeiro construo um conjunto de dados de brinquedo: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <- runif(N) # coeffs...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes. Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada...
Eu configurei uma pesquisa de grade para um monte de parâmetros. Estou tentando encontrar os melhores parâmetros para uma rede neural de Keras que faz classificação binária. A saída é 1 ou 0. Existem cerca de 200 recursos. Quando fiz uma pesquisa na grade, recebi vários modelos e seus parâmetros. O...
Atualmente, estou tentando analisar um conjunto de dados de documento de texto que não tem nenhuma verdade. Disseram-me que você pode usar a validação cruzada k-fold para comparar diferentes métodos de armazenamento em cluster. No entanto, os exemplos que eu vi no passado usam uma verdade básica....
Para minha pesquisa atual, estou usando o método Lasso através do pacote glmnet em R em uma variável dependente binomial. No glmnet, o lambda ideal é encontrado via validação cruzada e os modelos resultantes podem ser comparados com várias medidas, por exemplo, erro de classificação incorreta ou...
Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para...
A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o...
Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha...
Estou fazendo pré-processamento de dados e depois construindo um Convonets nos meus dados. Minha pergunta é: digamos que eu tenho um total de conjuntos de dados com 100 imagens, eu estava calculando a média para cada uma das 100 imagens e subtraí-la de cada uma das imagens, depois divida-a em...
Me fizeram uma pergunta como "Você fez alguma verificação de consistência no seu trabalho diário?" durante uma entrevista por telefone para uma posição bioestatística. Não sei o que responder Qualquer informação é
Ao escolher o parâmetro de regularização lambda em Ridge ou Lasso, o método recomendado é tentar diferentes valores de lambda, medir o erro no conjunto de validação e finalmente escolher o valor de lambda que retorna o erro mais baixo. Não é óbvio para mim se a função f (lambda) = erro é convexa....
Estou treinando um processo gaussiano com um kernel ARD com muitos parâmetros, maximizando a confiabilidade marginal dos dados, em vez de validação cruzada. Suspeito que seja excessivo. Como posso testar essa suspeita em um contexto
Eu tenho um conjunto de dados com 26 recursos e 31000 linhas. É o conjunto de dados de 38 indivíduos. É para um sistema biométrico. Então, eu quero ser capaz de identificar assuntos. Para ter um conjunto de testes, eu sei que tenho que remover alguns valores. Então, o que é melhor fazer e por...
Eu gostaria de avaliar vários modelos diferentes que fornecem previsões de comportamento em um nível mensal. Os dados são equilibrados e 100.000 e T = 12. O resultado é assistir a um concerto em um determinado mês; portanto, é zero para ~ 80% das pessoas em qualquer mês, mas há uma longa cauda...
Realizei a classificação usando vários classificadores para dados rotulados de 2 classes e usei a validação cruzada 5 vezes. Para cada dobra calculei tp, tn, fp e fn. Então calculei a exatidão, precisão, recordação e pontuação F para cada teste. Minha pergunta é: quando quero calcular a média dos...
Para não estatísticos como eu, é muito difícil capturar a ideia de VImétrica (variação de informação) mesmo depois de ler o artigo relevante de Marina Melia " Comparando agrupamentos - uma distância baseada em informação " (Journal of Multivariate Analysis, 2007). De fato, não estou familiarizado...
Eu sou um estudante de física estudando aprendizado de máquina / ciência de dados, por isso não pretendo que esta pergunta inicie conflitos :) No entanto, uma grande parte de qualquer programa de graduação em física é fazer laboratórios / experimentos, o que significa muitos dados processamento e...
Estou trabalhando em um problema de classificação que calcula uma métrica de similaridade entre duas imagens de raios-x de entrada. Se as imagens forem da mesma pessoa (rótulo de 'right'), uma métrica maior será calculada; imagens de entrada de duas pessoas diferentes (rótulo de 'errado')...
O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1,...