Perguntas com a marcação «cross-validation»

9
Por que as informações sobre os dados de validação vazaram se eu avalio o desempenho do modelo nos dados de validação ao ajustar os hiperparâmetros?

No Deep Learning de François Chollet com Python, ele diz: Como resultado, o ajuste da configuração do modelo com base em seu desempenho no conjunto de validação pode resultar rapidamente na adaptação excessiva ao conjunto de validação, mesmo que seu modelo nunca seja treinado diretamente sobre...

9
Devemos sempre fazer CV?

Minha pergunta: devo fazer CV mesmo para um conjunto de dados relativamente grande? Eu tenho um conjunto de dados relativamente grande e aplicarei um algoritmo de aprendizado de máquina ao conjunto de dados. Como meu PC não é rápido, o CV (e a busca na grade) às vezes leva muito tempo. Em...

9
Técnicas para detectar sobreajuste

Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador...

9
Qual modelo de aprendizagem profunda pode classificar categorias que não são mutuamente exclusivas

Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...

8
Validação cruzada em dimensão muito alta (para selecionar o número de variáveis ​​usadas na classificação dimensional muito alta)

Minha pergunta é sobre validação cruzada quando há muito mais variáveis ​​que observações. Para fixar idéias, proponho restringir a estrutura de classificação em uma dimensão muito alta (mais recursos do que observação). Problema: Suponha que, para cada variável , você tenha uma medida de...