Como os diferentes métodos de validação cruzada se comparam em termos de variação e tendência do modelo? Minha pergunta é parcialmente motivada por este tópico: Número ideal de dobras na validação cruzada fold : o CV de deixar um fora é sempre a melhor escolha? KKK. A resposta sugere que os...
Tirando as considerações sobre o poder da computação, existem razões para acreditar que o aumento do número de dobras na validação cruzada leva a uma melhor seleção / validação de modelo (ou seja, quanto maior o número de dobras, melhor)? Levando o argumento ao extremo, a validação cruzada de...
Estou lendo o capítulo da troca de viés e variação de Os elementos do aprendizado estatístico e tenho dúvidas na fórmula da página 29. Deixe os dados surgirem de um modelo tal que onde é aleatório número com valor esperado e variância . Seja o valor esperado do erro do modelo onde é a previsão...
Estou tentando entender a troca de viés e variância, a relação entre o viés do estimador e o viés do modelo e o relacionamento entre a variação do estimador e a variação do modelo. Cheguei a estas conclusões: Tendemos a superestimar os dados quando negligenciamos o viés do estimador, ou seja,...
Estou lendo sobre a melhor seleção de subconjunto no livro Elementos do aprendizado estatístico. Se eu tiver 3 preditores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , crio 23=823=82^3=8 subconjuntos: Subconjunto sem preditores subconjunto com o preditorx1x1x_1 subconjunto com o preditorx2x2x_2 subconjunto com...
Em 'The Elements of Statistical aprendizagem', a expressão para a decomposição de polarização-variância de-modelo linear é dada como Er r ( x0 0) = σ2ϵ+ E[ f( x0 0) - Ef^( x0 0) ]2+ | | h ( x0 0) | |2σ2ϵ,Err(x0 0)=σϵ2+E[f(x0 0)-Ef^(x0 0)]2+||h(x0 0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat...
Eu gostaria de classificar os pontos de dados como necessitando de um modelo mais complexo ou não precisando de um modelo mais complexo. Meu pensamento atual é ajustar todos os dados a um modelo linear simples e observar o tamanho dos resíduos para fazer essa classificação. Fiz algumas leituras...
Eu entendo o assunto nos termos underfitting / overfitting , mas ainda luto para entender a matemática exata por trás disso. Eu verifiquei várias fontes ( aqui , aqui , aqui , aqui e aqui ), mas ainda não vejo por que exatamente o viés e a variação se opõem, como, por exemplo, e :exexe^xe-...
O viés e a variação de um classificador determinam o grau em que ele pode desajustar e desajustar os dados, respectivamente. Como alguém pode determinar um classificador para ser caracterizado como alto viés ou alta variação? Estou bem claro do que é uma troca de desvios de polarização e sua...
Eu estava lendo a Introdução à Aprendizagem Estatística. Aqui é mostrado que: - Em um exemplo posterior, o trem e o teste MSE são plotados. Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que o