O que significa "baunilha"?

12

Nos blogs de aprendizado de máquina, encontro frequentemente a palavra "baunilha". Por exemplo, "Descida de gradiente de baunilha" ou "método de baunilha". Esse termo nunca é visto literalmente em nenhum livro didático de otimização.

Por exemplo, neste post , ele diz:

Essa é a forma mais simples da técnica de descida de gradiente. Aqui, baunilha significa puro / sem adulteração. Sua principal característica é que damos pequenos passos na direção dos mínimos, dando um gradiente na função de custo.

Diga, o que significa "adulteração" nesse contexto? O autor vai além, contrastando a descida do gradiente de baunilha com a descida do gradiente com impulso. Portanto, neste caso, descida de gradiente de baunilha é outra palavra para descida de gradiente.

Em outro post , diz:

Descida de gradiente de baunilha, também conhecida como descida de gradiente ...

Infelizmente, eu nunca ouvi falar de descida de gradiente de lote também. Oh garoto.

Alguém pode esclarecer o que significa "baunilha" e se existe uma definição matemática mais firme?

Carlos - o Mangusto - Perigo
fonte
5
Isso não é um jargão técnico - o termo está sendo usado no sentido idiomático-inglês comum (veja def 2 aqui ou aqui ou aqui ). Embora a questão esteja no tópico aqui no CV, ela pode melhorar no English.SE ou ELL.SE (alunos de inglês, se o inglês não for seu primeiro idioma).
Glen_b -Reinstala Monica
11
Sem adorno. Como no sorvete de baunilha.
Matthew Drury
11
@Glen_b Do ponto de vista de quem está de fora, muitas coisas podem parecer jargão técnico;)
Carlos - o Mongoose - Perigo
Sem dúvida - é por isso que eu estava explicando isso.
Glen_b -Reinstala Monica

Respostas:

17

Baunilha significa uma versão padrão, usual ou não modificada de algo. Descida de gradiente de baunilha significa o algoritmo básico de descida de gradiente sem sinos ou assobios.

Existem muitas variantes na descida do gradiente. Na descida de gradiente usual (também conhecida como descida de gradiente em lote ou descida de gradiente de baunilha), o gradiente é calculado como a média do gradiente de cada ponto de dados.

f=1 1nEuperda(xEu)

Na descida do gradiente estocástico com um tamanho de lote de um, podemos estimar o gradiente como

fperda(x)
, Onde xé amostrado aleatoriamente em todo o conjunto de dados. É uma variante da descida normal do gradiente, portanto não seria descida do gradiente de baunilha. No entanto, como até a descida do gradiente estocástico tem muitas variantes, você pode chamar isso de "descida do gradiente estocástico de baunilha", ao compará-lo com outras alternativas mais sofisticadas de SGD, por exemplo, SGD com momento.
shimao
fonte
Obrigado, eu estava procurando uma palavra para descrever "descida de gradiente padrão" e realmente não queria usar baunilha
Carlos - o Mongoose - Perigo
4
Obrigado pelo esclarecimento, eu estava prestes a enlouquecer com todas aquelas aparências aleatórias da palavra ao lado de termos técnicos.
Oi, obrigado pela resposta, alguém sabe por que é chamado de "baunilha"?
desmond13 20/04
bem como para a etimologia, eu encontrei esta excelente resposta - english.stackexchange.com/a/451866
shimao 20/04