Refere-se à prática de avaliar o desempenho do modelo em algum conjunto de dados de "teste" ou "validação" ou "fora da amostra" que não foi usado para a construção do modelo.
Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de...
A ideia da análise adaptativa dos dados é que você altere seu plano para analisar os dados à medida que aprende mais sobre eles. No caso da análise exploratória de dados (EDA), geralmente é uma boa ideia (você geralmente procura padrões imprevistos nos dados), mas, para um estudo confirmatório,...
O trecho a seguir é do Hedge Fund Market Wizzards da Schwager (maio de 2012), uma entrevista com o sempre bem-sucedido gerente de fundos de hedge Jaffray Woodriff: Para a pergunta: "Quais são alguns dos piores erros que as pessoas cometem na mineração de dados?": Muitas pessoas pensam que...
Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto o conjunto de validação é...
Embora os resultados do conjunto de testes privado não possam ser usados para refinar ainda mais o modelo, a seleção de modelos não está sendo executada em um grande número de modelos com base nos resultados do conjunto de testes privados? Por esse processo, você não acabaria se adaptando ao...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 2 anos . Atualmente, estou...
Existe uma diferença explícita entre previsões dentro da amostra e previsões pseudo fora da amostra . Ambos se destinam ao contexto de avaliação e comparação de modelos de
Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha...
Eu tenho um conjunto de dados com 26 recursos e 31000 linhas. É o conjunto de dados de 38 indivíduos. É para um sistema biométrico. Então, eu quero ser capaz de identificar assuntos. Para ter um conjunto de testes, eu sei que tenho que remover alguns valores. Então, o que é melhor fazer e por...
Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o...
Sei que isso provavelmente já foi discutido em outro lugar, mas não consegui encontrar uma resposta explícita. Estou tentando usar a fórmula para calcular fora da amostra de um modelo de regressão linear, em que é a soma dos resíduos quadrados e é a soma total dos quadrados. Para o conjunto de...
Eu tenho uma pergunta que acho que será bastante básica para muitos usuários. Estou usando modelos de regressão linear para (i) investigar a relação de várias variáveis explicativas e minha variável de resposta e (ii) prever minha variável de resposta usando as variáveis explicativas. Uma...
Esta pergunta já tem respostas aqui : Meu modelo é bom, com base no valor da métrica de diagnóstico ( / AUC / precisão / RMSE etc.)? R2R2R^2 (3 respostas) Fechado há 7 meses . Eu tenho dados de aprendizagem que consistem em ~ 45k amostras, cada uma com 21...
Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de...