Hashing Trick - o que realmente acontece

Quando algoritmos ML, por exemplo, Vowpal Wabbit ou algumas das máquinas de fatoração que vencem competições de taxa de cliques ( Kaggle ), mencionam que os recursos são 'hash', o que isso realmente significa para o modelo? Vamos dizer que existe uma variável que representa o ID de um complemento da Internet, que assume valores como '236BG231'. Então eu entendo que esse recurso é hash para um número inteiro aleatório. Mas, minha pergunta é:

• O número inteiro agora é usado no modelo como um número inteiro (numérico) OU
• o valor do hash ainda é tratado como uma variável categórica e codificado com um código quente? Assim, o truque de hash é apenas para economizar espaço de alguma forma com grandes dados?

O segundo marcador é o valor no hash do recurso. Hashing e uma codificação quente para dados esparsos economizam espaço. Dependendo do hash algo, você pode ter vários graus de colisão, que funcionam como uma espécie de redução de dimensionalidade.

Além disso, no caso específico do hashing de recursos do Kaggle e uma codificação quente, ajudam na expansão / engenharia do recurso, tomando todas as tuplas possíveis (geralmente apenas de segunda ordem, mas às vezes terceira) de recursos que são então misturados com colisões que criam explicitamente interações que geralmente são preditivas enquanto os recursos individuais não são.

Na maioria dos casos, essa técnica combinada com a seleção de recursos e a regularização da rede elástica na LR atua de maneira muito semelhante a uma camada oculta NN, portanto, ela se sai muito bem em competições.