Como é chamada a codificação "quente" na literatura científica?

10

Qual é o nome do operador que pega um vetor categórico e o transforma na representação binária usando a codificação one-hot? Fico pensando desde que estou escrevendo um artigo científico e preciso de um nome adequado para isso.

terminology categorical-encoding frágil
fonte

3

Codificação fictícia é outro nome. No aprendizado de máquina, todo mundo usa apenas um tipo simples, para que fique bem claro o que é isso, mas existem outros tipos de codificação de contraste (outro nome) com menos e outras idéias, que desempenham um papel semelhante, usado nas estatísticas, e assim por diante. você pode ser um pouco mais específico.

Gijs

7

Em estatística e análise de dados, muito antes do aprendizado de máquina, esse tipo de codificação categórica era conhecido como variáveis dummy , também conhecidas como variáveis de contraste do tipo indicador .

ttnphns

18

Os estatísticos chamam de codificação one-hot como codificação fictícia . Como outros sugeriram (incluindo Scortchi nos comentários), esse não é um sinônimo exato, mas esse é o termo que normalmente seria usado para as variáveis categóricas codificadas em 0-1.

Consulte também: "Variável dummy" versus "variável indicadora" para dados nominais / categóricos

Tim
fonte

3

Duh !! Não posso acreditar que esqueci isso. Também me refiro a eles como indicadores.

Tim Atreides

2

Não acho que "codificação fictícia" seja um bom sinônimo. Em geral, é usado para significar representar uma variável categórica com um conjunto de variáveis numéricas ou para "codificação em nível de referência" como distinto de "codificação one-hot", por exemplo, em Problemas com codificação one-hot vs. codificação dummy . "Codificação de nível médio" (consulte Existe algo chamado "codificação média" (como codificação fictícia e codificação de efeitos) nos modelos de regressão? ) Denota uma codificação hot-hot, mas conota um contexto de modelo linear talvez também ...

Scortchi - Reinstate Monica

2

... fortemente para uso geral.

Scortchi - Reinstate Monica

3

Eu nunca vi uma definição em si, mas para mim variáveis fictícias nas estatísticas sempre implica a codificação de N fatores com variáveis (N-1), enquanto a codificação one-hot codificará N fatores com N variáveis. Essa diferença é tremendamente importante na prática. Se alguém usar a codificação one-hot para regressões, obteria um disparate por causa da dependência das variáveis!

meh

2

@aginensky Embora as pessoas devam prestar atenção exatamente a quais variáveis elas têm, uma boa rotina de regressão não produzirá bobagens nessa circunstância: ela simplesmente omitirá um preditor e informará isso.

Nick Cox

8

Depende do seu público-alvo.

Como Tim disse, os estatísticos chamam de codificação fictícia, e é isso que eu esperaria ver ao descrever algo como um modelo de regressão. "Variáveis codificadas simuladas foram incluídas para ajustar a localização da loja." Eu acho que chamá-lo de codificação one-hot pareceria um pouco estranho aqui.

No entanto, como outro Tim também disse, a codificação one-hot é bastante comum na literatura de aprendizado de máquina. Isso implica fracamente a existência de nós (como em uma rede neural), fios físicos (em um dispositivo) ou algo assim, pelo menos para mim.

$\mathbb{I}_X$

Matt Krause
fonte

6

O termo vem da engenharia eletrônica. Basta pensar quem chamaria 1 de "quente"? Somente aqueles que trabalham com eletricidade, onde "quente" ou "ao vivo" significa que há potencial elétrico no fio . "Um quente" refere-se ao projeto do circuito em que o nível discreto do sinal elétrico em um fio seria decodificado em quente / frio em um conjunto de fios. Suponho que algumas pessoas de aprendizado de máquina com experiência em EE achem a analogia convincente.

Em econometria e estatística, você pode encontrar dummyou indicatorvariáveis, que são bastante semelhantes porque são usadas para representar categorias distintas com seus indicadores distintos. Há uma diferença sutil, no entanto. Por exemplo, você faz manequins K-1 para categorias K, porque a categoria base corresponde a todos os manequins definidos como 0. Em contraste, acho que em uma codificação quente você tem fios K, em que a categoria base terá seu próprio fio ( variável).

Aksakal
fonte

5

Sou estatisticamente treinado e recentemente ouvi falar de "one-hot encoding" em machine learning / comp sci lit. Normalmente, acabei de me referir à matriz de um ponto como uma matriz de design / matriz de dados / quadro de design.

Tim Atreides
fonte

Você tem uma referência que eu poderia citar para isso? Estou escrevendo uma publicação científica e gostaria de deixar claro esse método para todos os leitores, pois o artigo não é para a comunidade de ML, mas mais amplo.

fractile

Não posso dizer que já ouvi "one-hotted" como um verbo. Da mesma forma, chego a isso de uma direção matemática / estatística. (Resultados do Google em "one-hotted" são interessantes -. Eu recebo uma mistura da máquina significado e as pessoas falando sobre "um carro hotted-up" de aprendizagem)

Michael Lugo

3

Nas ciências físicas e na engenharia, é chamado delta (generalizado) de Kronecker .

\begin{aligned} δ_{i, j} \equiv {\begin{cases} 1 & if & i = j \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i,j} {\equiv} \begin{cases} 1 &\text{if} & i=j \\ 0 &\text{else} \end{cases} \end{align*},$

\begin{aligned} δ_{[condition]} \equiv {\begin{cases} 1 & if & [condition] \\ 0 & else \end{cases} \end{aligned} .

$\begin{align*} {\delta}_{\left[\text{condition}\right]} {\equiv} \begin{cases} 1 &\text{if} & \left[\text{condition}\right] \\ 0 &\text{else} \end{cases} \end{align*}.$

${\delta}_{i{\in}\text{category}}$

\begin{aligned} δ_{i \in category} \equiv {\begin{cases} 1 & if & i \in category \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i{\in}\text{category}} {\equiv} \begin{cases} 1 &\text{if} & i{\in}\text{category} \\ 0 &\text{else} \end{cases} \end{align*},$

δ_{i}

${\delta}_{i}$

O delta do Kronecker é realmente útil no Sigma / Pi / Einstein / etc. notações, pois permite que os termos sejam especificados condicionalmente.

Apenas para relacionar isso a estruturas de programação comuns, o delta do Kronecker condition?1:0, onde ?:é o operador condicional .

${\delta}_{i,j}$ ${\delta}_{i=j}$

Nat
fonte

Não vejo o link aqui. Um hot decodifica uma variável em um conjunto para cada estado da variável. Como o delta do Kronecker é usado nesta aplicação?

Aksakal

{0, 1}

$\left\{0,1\right\}$

δ_{VW}

${\delta}_{\text{VW}}$

δ_{Acura}

${\delta}_{\text{Acura}}$

δ_{Honda}

${\delta}_{\text{Honda}}$

δ_{i, j}

${\delta}_{i,j}$

δ_{CompanyName, VW}

${\delta}_{\text{CompanyName},\text{VW}}$

V W

$VW$

A C U R A

$ACURA$

i = 1.. N

$i=1..N$

V W_{i}

$VW_i$

A C U R A_{i}

$ACURA_i$

i

$i$

C A R_{i}

$CAR_i$

V W_{i} = δ (C A R_{i}, V W)

$VW_i=\delta(CAR_i,VW)$

{V W}_{i}

${VW}_{i}$

{δ_{VW}}_{i}

${{\delta}_{\text{VW}}}_i$

δ_{i \in VW}

${\delta}_{i{\in}\text{VW}}$

i

$i$

1

$1$

0

$0$

2

$1$ $K$

Aqui está uma citação do livro,

$K$ $1$ $K$ $K$ $\textbf{x}$ $x_k$ $1$ $0$ $K = 6$ $x_3 = 1$ $\textbf{x}$

$\textbf{x} = (0, 0, 1, 0, 0, 0)^{T}$

kedarps
fonte

Como é chamada a codificação "quente" na literatura científica?

Respostas: