Como alguém poderia provar formalmente que o erro OOB em floresta aleatória é imparcial?

Eu li essa afirmação muitas vezes, mas nunca me deparei com uma prova. Eu gostaria de tentar produzir um, mas não tenho certeza de qual notação usar. Alguém pode me ajudar com isso?

Não sei se essa é a resposta final, mas essas coisas não cabem em um comentário.

A declaração de que os erros de OOB são imparciais é frequentemente usada, mas nunca vi uma demonstração. Depois de muitas pesquisas, finalmente dei depois de ler atentamente a página bem conhecida da seção Breiman para RF : A estimativa de erro fora da bolsa (oob) . Caso você não tenha notado (como perdi por algum tempo), a última proposição é a mais importante: isso provou ser imparcial em muitos testes . Portanto, nenhum sinal de derivação formal.

Mais do que isso, parece estar provado que, para o caso de mais variáveis ​​do que instâncias, esse estimador é tendencioso. Veja aqui .

Para erro dentro da bolsa, há uma derivação formal. O erro dentro da bolsa é o erro de inicialização e há muita literatura começando com "Uma Introdução ao Bootsrap, de Efron e Tibshirani". No entanto, a demonstração mais limpa que vi está aqui .

Se você deseja começar a encontrar uma prova, acho que um bom ponto de partida é a comparação dessa estimativa com a validação cruzada N-fold. Em ESTL, afirma-se que há uma identidade no limite, pois o número de amostras vai para o infinito.

Por que você espera que o erro oob seja imparcial?

• Há (pelo menos) um caso de treinamento menos disponível para as árvores usadas na floresta substituta em comparação com a floresta "original". Eu esperaria que isso levasse a um pequeno viés pessimista aproximadamente comparável à validação cruzada de uma única exclusão.

• $\frac{1}{e} \approx \frac{1}{3}$

Ambos os pensamentos estão intimamente relacionados à curva de aprendizado do classificador e aplicação / dados em questão: o primeiro ao desempenho médio em função do tamanho da amostra de treinamento e o segundo à variação em torno dessa curva média.

$\frac{1}{e} \approx \frac{1}{3}$$n - 1$

Observe também que Breiman usa "imparcial" para fora do bootstrap da mesma maneira que ele usa para validação cruzada, onde também temos um (pequeno) viés pessimista. Vindo de um campo experimental, posso dizer que ambos são praticamente imparciais, pois o viés geralmente é muito menos problemático do que a variação (você provavelmente não está usando florestas aleatórias se tiver o luxo de ter muitos casos) .