Quais são as notações clássicas em estatística, álgebra linear e aprendizado de máquina? E quais são as conexões entre essas notações?

Quando lemos um livro, a compreensão das notações desempenha um papel muito importante na compreensão do conteúdo. Infelizmente, comunidades diferentes têm convenções de notação diferentes para a formulação do modelo e o problema de otimização. Alguém poderia resumir algumas notações de formulação aqui e fornecer possíveis razões?

Vou dar um exemplo aqui: Na literatura de álgebra linear, o livro clássico é a introdução de Strang à álgebra linear . A notação mais usada no livro é

Onde é uma matriz de coeficientes , é as variáveis a serem resolvidos e é um vector no lado direito da equação . A razão pela qual o livro escolhe essa notação é o principal objetivo da álgebra linear é resolver um sistema linear e descobrir o que é o vetor . Dada essa formulação, o problema de otimização do OLS é$A$$x$$b$$x$

Em estatística ou alfabetizado em machine learning (do livro Elements of Statistical Learning ), as pessoas usam notações diferentes para representar a mesma coisa:

Onde $X$ é a matriz de dados , $\beta$ são os coeficientes ou pesos a serem aprendidos na aprendizagem , $y$ é a resposta. A razão pela qual as pessoas usam isso é porque as pessoas na comunidade de estatística ou de aprendizado de máquina são orientadas por dados ; portanto, dados e resposta são a coisa mais interessante para eles, onde usam $X$ e $y$ para representar.

Agora podemos ver toda a confusão possível: $A$ na primeira equação é igual a $X$ na segunda equação. E na segunda equação $X$ não é algo que precisa ser resolvido. Também para os termos: $A$ é a matriz do coeficiente na álgebra linear, mas são dados em estatística. $\beta$ também é chamado de "coeficiente".

Além disso, mencionei que $X \beta=y$ não é exatamente o que as pessoas costumam usar no aprendizado de máquina; as pessoas usam uma versão meio vetorizada que resume todos os pontos de dados. Tal como

Penso que a razão para isto é que é bom quando se fala da descida do gradiente estocástico e de outras funções de perda diferentes. Além disso, a notação concisa da matriz desaparece para outros problemas além da regressão linear.

Notação matricial para regressão logística

Alguém poderia dar mais resumos sobre as notações cruzando literatura diferente? Espero que respostas inteligentes para essa pergunta possam ser usadas como uma boa referência para quem lê livros cruzar literatura diferente.

por favor, não ser limitado por meu exemplo e . Existem muitos outros. Tal como$A x=b$$X \beta=y$

Por que existem duas formulações / notações de perda logística diferentes?

Talvez uma pergunta relacionada seja: "Quais são as palavras usadas em diferentes idiomas e quais são as conexões entre essas palavras?"

A notação é, em certo sentido, semelhante à linguagem:

• Algumas palavras têm significados específicos da região; algumas palavras são amplamente compreendidas.
• Como nações poderosas espalham sua linguagem, campos de sucesso e pesquisadores influentes espalham sua notação.
• A linguagem evolui com o tempo: a linguagem tem uma mistura de origens históricas e influência moderna.

Sua pergunta específica ...

• Eu discordo de sua afirmação de que os dois seguem "notações completamente diferentes". Ambos e letras maiúsculas denotam o uso de matrizes. Eles não são que diferente.$X\boldsymbol{\beta} = \boldsymbol{y}$$A\mathbf{x} = \mathbf{b}$
• O aprendizado de máquina está altamente relacionado à estatística, um campo amplo e maduro. Usar para representar a matriz de dados é quase certamente a convenção mais legível e padrão a seguir. Embora seja padrão para resolver sistemas lineares, não é assim que as pessoas que fazem estatísticas escrevem as equações normais. Você encontrará seu público mais confuso se tentar fazer isso. Quando em Roma...$X$$A\mathbf{x} = \mathbf{b}$
• Em certo sentido, o cerne da sua pergunta revisada é: "Quais são as origens históricas das estatísticas usando a letra para representar dados e a letra para representar a variável desconhecida a ser resolvida?" $x$$\beta$
  • Esta é uma pergunta para os historiadores estatísticos! Pesquisando brevemente, vejo o influente estatístico britânico e acadêmico de Cambridge Udny Yule usado para representar dados em sua Introdução à Teoria da Estatística (1911). Ele escreveu uma equação de regressão como , com o objetivo de mínimos quadrados como minimizador , e com a solução . Pelo menos remonta a então ...$x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • O ainda mais influente RA Fisher utilizado para a variável dependente e para a variável independente em seu livro 1925 Métodos Estatísticos para investigadores . (Dica para o @Nick Cox por fornecer link com informações.)$y$$x$

Uma boa notação é como uma boa linguagem. Evite o jargão específico do campo sempre que possível. Escreva no equivalente matemático do inglês alto da BBC, idioma que é compreensível para a maioria das pessoas que fala inglês. Deve-se escrever, sempre que possível, usando notação clara e amplamente compreendida.