Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o treinamento do modelo é um indicador suficiente do desempenho do conjunto de testes. Até Trevor Hastie, em conversas relativamente recentes, afirma que "as florestas aleatórias fornecem validação cruzada gratuita". Intuitivamente, isso faz sentido para mim, se estiver treinando e tentando melhorar um modelo baseado em RF em um conjunto de dados.
Qual a sua opinião sobre isso?
Respostas:
O erro OOB é calculado por para cada observação usando apenas as árvores que não tiveram essa observação específica em sua amostra de inicialização; veja esta pergunta relacionada . Isso é praticamente equivalente à validação cruzada dupla, pois a probabilidade de uma observação específica estar em uma amostra de bootstrap específica é .1−(1−1N)N≈1−e−1≈0.6
Como o @Wouter aponta, você provavelmente desejará fazer a validação cruzada para o ajuste de parâmetros, mas como uma estimativa do erro do conjunto de testes, o erro OOB deve estar correto.
fonte