O que os termos "denso" e "esparso" significam no contexto de redes neurais?

O que os termos "denso" e "esparso" significam no contexto de redes neurais (NNs)? Qual a diferença entre eles? Por que eles são assim chamados?

Em matemática, "esparso" e "denso" geralmente se referem ao número de elementos zero versus diferentes de zero em uma matriz (por exemplo, vetor ou matriz). Uma matriz esparsa é aquela que contém principalmente zeros e poucas entradas diferentes de zero. Uma matriz densa contém principalmente zeros.

Não existe um limite rígido para o que conta como escasso; é um termo solto, mas pode ser mais específico. Por exemplo, um vetor é$k$-para se contém no máximo $k$entradas diferentes de zero. Outra maneira de dizer isso é que o vetor é$\ell_0$ norma é $k$.

O uso desses termos no contexto de redes neurais é semelhante ao uso em outros campos. No contexto das NNs, coisas que podem ser descritas como esparsas ou densas incluem as ativações de unidades dentro de uma camada específica , os pesos e os dados . Pode-se também falar sobre "conectividade esparsa", que se refere à situação em que apenas um pequeno subconjunto de unidades está conectado . Este é um conceito semelhante aos pesos esparsos, porque uma conexão com peso zero é efetivamente desconectada.

"Matriz esparsa" também pode se referir a uma classe de tipos de dados que são eficientes para representar matrizes esparsas. Este é um conceito dentro do domínio das linguagens de programação. Está relacionado, mas distinto do conceito matemático.