Eu tenho lido o artigo original sobre desistência, ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) e na seção de regressão linear, afirma-se que:
reduz para:
Estou tendo problemas para entender como eles chegaram a esse resultado. Alguém pode ajudar?
regression
dropout
doug
fonte
fonte
Respostas:
Terminando isso, podemos observar que e encontramos Em , mostrei que todo elemento fora da diagonal é zero, então o resultado é O documento define então que significa que estão feitos.∥y−pXw∥2=yTy−2pwTXTy+p2wTXTXw ER∥y−Mw∥2=yTy−2pwTXTy+wTER(MTM)w=∥y−pXw∥2−p2wTXTXw+wTER(MTM)w=∥y−pXw∥2+wT(ER(MTM)−p2XTX)w. ER(MTM)−p2XTX ER(MTM)−p2XTX=p(1−p)diag(XTX). Γ=diag(XTX)1/2 ∥Γw∥2=wTdiag(XTX)w
fonte