Floresta aleatória não pode se superestimar?

A floresta aleatória pode superestimar. Eu estou certo disso. O que geralmente se quer dizer é que o modelo não se ajustaria demais se você usar mais árvores.

Tente, por exemplo, estimar o modelo com uma floresta aleatória. Você receberá um erro de treinamento quase zero, mas um erro de previsão incorreto $y = log(x) + \epsilon$

Donbeo
fonte

A Random Forest reduz principalmente a variação, como pode se super-ajustar? @Donbeo poderia ser talvez porque, os modelos de árvore de decisão não tenham bom desempenho em extrapolação. Digamos que, para variável preditora anômala, o TD possa dar uma previsão ruim.

Itachi

Uma indicação clara de sobreajuste é que a variação residual é reduzida demais. O que você está tentando sugerir com sua primeira observação?

whuber

No trade-viés de variação, quando tentamos reduzir o viés, compensamos a variação. Assim, se x = 80 fornece y = 100, mas x = 81 fornece y = -100. Isso seria super adequado . Não é semelhante a ter alta variação. @whuber eu assumi que o excesso de equipamento é apenas por causa da alta variação. Não entendo como a redução da variação residual resulta em sobreajuste. Você pode, por favor, compartilhar algum papel para eu continuar lendo.

Itachi

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

@ Whuber Eu acho que você está perdendo o ponto sobre o que é "redução de variância". A floresta aleatória (e ensacamento em geral) não reduz a variação dos resíduos, mas a variação de suas previsões. Portanto, no seu exemplo, a cada passo que você fala sobre AUMENTA A variação :)

Davide ND

Floresta aleatória não pode se superestimar?

Respostas: