Gere uma variável fictícia

86

Tenho problemas para gerar as seguintes variáveis ​​fictícias em R:

Estou analisando dados de séries temporais anuais (período de 1948-2009). Eu tenho duas perguntas:

  1. Como faço para gerar uma variável dummy para a observação # 10, ou seja, para o ano 1957 (valor = 1 em 1957 e zero em caso contrário)?

  2. Como faço para gerar uma variável dummy que é zero antes de 1957 e assume o valor 1 de 1957 em diante até 2009?

Pantera
fonte

Respostas:

113

Outra opção que pode funcionar melhor se você tiver muitas variáveis ​​é factore model.matrix.

> year.f = factor(year)
> dummies = model.matrix(~year.f)

Isso incluirá uma coluna de interceptação (todos) e uma coluna para cada um dos anos em seu conjunto de dados, exceto um, que será o valor "padrão" ou de interceptação.

Você pode alterar a forma como o "padrão" é escolhido mexendo contrasts.argem model.matrix.

Além disso, se você quiser omitir a interceptação, pode simplesmente descartar a primeira coluna ou adicionar +0ao final da fórmula.

Espero que isso seja útil.

David J. Harris
fonte
4
e se você quiser gerar variáveis ​​dummy para todos (em vez de k-1) sem interceptar?
Fernando Hoces De La Guardia
1
observe que model.matrix () aceita múltiplas variáveis ​​para se transformar em dummies: model.matrix (~ var1 + var2, data = df) Novamente, apenas certifique-se de que são fatores.
Slizb 01 de
3
@Synergist table (1: n, fator). Onde fator é a variável original en é seu comprimento
Fernando Hoces De La Guardia
1
@Synergist essa tabela é uma matriz de ansk com todas as variáveis ​​indicadoras k (em vez de k-1)
Fernando Hoces De La Guardia
6
@FernandoHocesDeLaGuardia Você pode remover a interceptação de uma fórmula com + 0 ou - 1. Então model.matrix(~ year.f + 0), daremos variáveis ​​dummy sem um nível de referência.
Gregor Thomas
60

A maneira mais simples de produzir essas variáveis ​​fictícias é algo como o seguinte:

> print(year)
[1] 1956 1957 1957 1958 1958 1959
> dummy <- as.numeric(year == 1957)
> print(dummy)
[1] 0 1 1 0 0 0
> dummy2 <- as.numeric(year >= 1957)
> print(dummy2)
[1] 0 1 1 1 1 1

De forma mais geral, você pode usar ifelsepara escolher entre dois valores dependendo de uma condição. Portanto, se em vez de uma variável dummy 0-1, por alguma razão você quisesse usar, digamos, 4 e 7, você poderia usar ifelse(year == 1957, 4, 7).

Martin O'Leary
fonte
49

Usando dummies :: dummy () :

library(dummies)

# example data
df1 <- data.frame(id = 1:4, year = 1991:1994)

df1 <- cbind(df1, dummy(df1$year, sep = "_"))

df1
#   id year df1_1991 df1_1992 df1_1993 df1_1994
# 1  1 1991        1        0        0        0
# 2  2 1992        0        1        0        0
# 3  3 1993        0        0        1        0
# 4  4 1994        0        0        0        1
zx8754
fonte
Talvez adicionar "fun = factor" na função dummy possa ajudar se esse for o significado da variável.
Filippo Mazza
@FilippoMazza Prefiro mantê-los como inteiros, sim, poderíamos definir o fator se necessário.
zx8754
como você remove df1 antes de cada nome de cabeçalho de coluna fictício?
microfone de
@mike colnames (df1) <- gsub ("df1_", "", fixed = TRUE, colnames (df1))
zx8754
19

O pacote mlrinclui createDummyFeaturespara este propósito:

library(mlr)
df <- data.frame(var = sample(c("A", "B", "C"), 10, replace = TRUE))
df

#    var
# 1    B
# 2    A
# 3    C
# 4    B
# 5    C
# 6    A
# 7    C
# 8    A
# 9    B
# 10   C

createDummyFeatures(df, cols = "var")

#    var.A var.B var.C
# 1      0     1     0
# 2      1     0     0
# 3      0     0     1
# 4      0     1     0
# 5      0     0     1
# 6      1     0     0
# 7      0     0     1
# 8      1     0     0
# 9      0     1     0
# 10     0     0     1

createDummyFeatures elimina a variável original.

https://www.rdocumentation.org/packages/mlr/versions/2.9/topics/createDummyFeatures
.....

Enrique Pérez Herrero
fonte
1
Enrique, tentei instalar o pacote, mas não parece estar funcionando depois de fazer a biblioteca (mlr). Recebo o seguinte erro: «Erro em loadNamespace (j <- i [[1L]], c (lib.loc, .libPaths ()), versionCheck = vI [[j]]): não há pacote chamado 'ggvis 'Além disso: Mensagem de aviso: o pacote' mlr 'foi criado sob a versão R 3.2.5 Erro: o carregamento do pacote ou do namespace falhou para' mlr '»
Um velho no mar.
1
você precisa instalar o 'ggvis' primeiro
Ted Mosby
17

As outras respostas aqui oferecem rotas diretas para realizar essa tarefa - uma que muitos modelos (por exemplo lm) farão por você internamente de qualquer maneira. No entanto, aqui estão maneiras de criar variáveis ​​fictícias com os pacotes carete populares de Max Kuhn recipes. Embora um pouco mais prolixos, ambos se adaptam facilmente a situações mais complicadas e se encaixam perfeitamente em suas respectivas estruturas.


caret::dummyVars

Com caret, a função relevante é dummyVars, que tem um predictmétodo para aplicá-la em um quadro de dados:

df <- data.frame(letter = rep(c('a', 'b', 'c'), each = 2),
                 y = 1:6)

library(caret)

dummy <- dummyVars(~ ., data = df, fullRank = TRUE)

dummy
#> Dummy Variable Object
#> 
#> Formula: ~.
#> 2 variables, 1 factors
#> Variables and levels will be separated by '.'
#> A full rank encoding is used

predict(dummy, df)
#>   letter.b letter.c y
#> 1        0        0 1
#> 2        0        0 2
#> 3        1        0 3
#> 4        1        0 4
#> 5        0        1 5
#> 6        0        1 6

recipes::step_dummy

Com recipes, a função relevante é step_dummy:

library(recipes)

dummy_recipe <- recipe(y ~ letter, df) %>% 
    step_dummy(letter)

dummy_recipe
#> Data Recipe
#> 
#> Inputs:
#> 
#>       role #variables
#>    outcome          1
#>  predictor          1
#> 
#> Steps:
#> 
#> Dummy variables from letter

Dependendo do contexto, extraia os dados com prepe bakeou juice:

# Prep and bake on new data...
dummy_recipe %>% 
    prep() %>% 
    bake(df)
#> # A tibble: 6 x 3
#>       y letter_b letter_c
#>   <int>    <dbl>    <dbl>
#> 1     1        0        0
#> 2     2        0        0
#> 3     3        1        0
#> 4     4        1        0
#> 5     5        0        1
#> 6     6        0        1

# ...or use `retain = TRUE` and `juice` to extract training data
dummy_recipe %>% 
    prep(retain = TRUE) %>% 
    juice()
#> # A tibble: 6 x 3
#>       y letter_b letter_c
#>   <int>    <dbl>    <dbl>
#> 1     1        0        0
#> 2     2        0        0
#> 3     3        1        0
#> 4     4        1        0
#> 5     5        0        1
#> 6     6        0        1
alistaire
fonte
11

Para o caso de uso apresentado na pergunta, você também pode simplesmente multiplicar a condição lógica com 1(ou talvez ainda melhor, com 1L):

# example data
df1 <- data.frame(yr = 1951:1960)

# create the dummies
df1$is.1957 <- 1L * (df1$yr == 1957)
df1$after.1957 <- 1L * (df1$yr >= 1957)

que dá:

> df1
     yr is.1957 after.1957
1  1951       0          0
2  1952       0          0
3  1953       0          0
4  1954       0          0
5  1955       0          0
6  1956       0          0
7  1957       1          1
8  1958       0          1
9  1959       0          1
10 1960       0          1

Para os casos de uso apresentados, por exemplo, nas respostas de @ zx8754 e @Sotos, ainda existem algumas outras opções que ainda não foram abordadas.

1) Faça sua própria make_dummiesfunção

# example data
df2 <- data.frame(id = 1:5, year = c(1991:1994,1992))

# create a function
make_dummies <- function(v, prefix = '') {
  s <- sort(unique(v))
  d <- outer(v, s, function(v, s) 1L * (v == s))
  colnames(d) <- paste0(prefix, s)
  d
}

# bind the dummies to the original dataframe
cbind(df2, make_dummies(df2$year, prefix = 'y'))

que dá:

  id year y1991 y1992 y1993 y1994
1  1 1991     1     0     0     0
2  2 1992     0     1     0     0
3  3 1993     0     0     1     0
4  4 1994     0     0     0     1
5  5 1992     0     1     0     0

2) usar a dcastfunção -de qualquer ou

 dcast(df2, id + year ~ year, fun.aggregate = length)

que dá:

  id year 1991 1992 1993 1994
1  1 1991    1    0    0    0
2  2 1992    0    1    0    0
3  3 1993    0    0    1    0
4  4 1994    0    0    0    1
5  5 1992    0    1    0    0

No entanto, isso não funcionará quando houver valores duplicados na coluna para a qual os dummies devem ser criados. No caso de uma função de agregação específica ser necessária dcaste o resultado da dcastnecessidade de ser mesclado de volta ao original:

# example data
df3 <- data.frame(var = c("B", "C", "A", "B", "C"))

# aggregation function to get dummy values
f <- function(x) as.integer(length(x) > 0)

# reshape to wide with the cumstom aggregation function and merge back to the original
merge(df3, dcast(df3, var ~ var, fun.aggregate = f), by = 'var', all.x = TRUE)

que dá (observe que o resultado é ordenado de acordo com a bycoluna):

  var A B C
1   A 1 0 0
2   B 0 1 0
3   B 0 1 0
4   C 0 0 1
5   C 0 0 1

3) use o spread função -de(com mutatede)

library(dplyr)
library(tidyr)

df2 %>% 
  mutate(v = 1, yr = year) %>% 
  spread(yr, v, fill = 0)

que dá:

  id year 1991 1992 1993 1994
1  1 1991    1    0    0    0
2  2 1992    0    1    0    0
3  3 1993    0    0    1    0
4  4 1994    0    0    0    1
5  5 1992    0    1    0    0
Jaap
fonte
10

O que normalmente faço para trabalhar com este tipo de variáveis ​​fictícias é:

(1) como faço para gerar uma variável dummy para a observação # 10, ou seja, para o ano de 1957 (valor = 1 em 1957 e zero caso contrário)

data$factor_year_1 <- factor ( with ( data, ifelse ( ( year == 1957 ), 1 , 0 ) ) )

(2) como faço para gerar uma variável dummy que é zero antes de 1957 e assume o valor 1 de 1957 em diante até 2009?

data$factor_year_2 <- factor ( with ( data, ifelse ( ( year < 1957 ), 0 , 1 ) ) )

Então, posso introduzir esse fator como uma variável dummy em meus modelos. Por exemplo, para ver se há uma tendência de longo prazo em uma variável y :

summary ( lm ( y ~ t,  data = data ) )

Espero que isto ajude!

Ricardo González-Gil
fonte
7

Se você deseja obter K variáveis ​​fictícias, em vez de K-1, tente:

dummies = table(1:length(year),as.factor(year))  

melhor,

Fernando Hoces De La Guardia
fonte
a tabela resultante não pode ser usada como data.frame. Se isso for um problema, use as.data.frame.matrix(dummies)para traduzi-lo para um
sheß
7

Eu li isso no fórum Kaggle:

#Generate example dataframe with character column
example <- as.data.frame(c("A", "A", "B", "F", "C", "G", "C", "D", "E", "F"))
names(example) <- "strcol"

#For every unique value in the string column, create a new 1/0 column
#This is what Factors do "under-the-hood" automatically when passed to function requiring numeric data
for(level in unique(example$strcol)){
  example[paste("dummy", level, sep = "_")] <- ifelse(example$strcol == level, 1, 0)
}
skpro19
fonte
5

A ifelsefunção é melhor para lógica simples como esta.

> x <- seq(1950, 1960, 1)

    ifelse(x == 1957, 1, 0)
    ifelse(x <= 1957, 1, 0)

>  [1] 0 0 0 0 0 0 0 1 0 0 0
>  [1] 1 1 1 1 1 1 1 1 0 0 0

Além disso, se você quiser que ele retorne dados de caractere, poderá fazê-lo.

> x <- seq(1950, 1960, 1)

    ifelse(x == 1957, "foo", "bar")
    ifelse(x <= 1957, "foo", "bar")

>  [1] "bar" "bar" "bar" "bar" "bar" "bar" "bar" "foo" "bar" "bar" "bar"
>  [1] "foo" "foo" "foo" "foo" "foo" "foo" "foo" "foo" "bar" "bar" "bar"

Variáveis ​​categóricas com aninhamento ...

> x <- seq(1950, 1960, 1)

    ifelse(x == 1957, "foo", ifelse(x == 1958, "bar","baz"))

>  [1] "baz" "baz" "baz" "baz" "baz" "baz" "baz" "foo" "bar" "baz" "baz"

Esta é a opção mais direta.

Alex Thompson
fonte
4

Outra maneira é usar a mtabulatepartir do qdapToolspacote, ou seja,

df <- data.frame(var = sample(c("A", "B", "C"), 5, replace = TRUE))
  var
#1   C
#2   A
#3   C
#4   B
#5   B

library(qdapTools)
mtabulate(df$var)

que dá,

  A B C
1 0 0 1
2 1 0 0
3 0 0 1
4 0 1 0
5 0 1 0
Sotos
fonte
2

Converta seus dados em data.table e use set por referência e filtragem de linha

library(data.table)

dt <- as.data.table(your.dataframe.or.whatever)
dt[, is.1957 := 0]
dt[year == 1957, is.1957 := 1]

Exemplo de brinquedo de prova de conceito:

library(data.table)

dt <- as.data.table(cbind(c(1, 1, 1), c(2, 2, 3)))
dt[, is.3 := 0]
dt[V2 == 3, is.3 := 1]
palavras para o sábio
fonte
2

Este forro na base R

model.matrix( ~ iris$Species - 1)

    iris$Speciessetosa iris$Speciesversicolor iris$Speciesvirginica
1                    1                      0                     0
2                    1                      0                     0
3                    1                      0                     0
4                    1                      0                     0
5                    1                      0                     0
6                    1                      0                     0
7                    1                      0                     0
8                    1                      0                     0
9                    1                      0                     0
10                   1                      0                     0
11                   1                      0                     0
12                   1                      0                     0
13                   1                      0                     0
14                   1                      0                     0
15                   1                      0                     0
16                   1                      0                     0
17                   1                      0                     0
18                   1                      0                     0
19                   1                      0                     0
20                   1                      0                     0
21                   1                      0                     0
22                   1                      0                     0
23                   1                      0                     0
24                   1                      0                     0
25                   1                      0                     0
26                   1                      0                     0
27                   1                      0                     0
28                   1                      0                     0
29                   1                      0                     0
30                   1                      0                     0
31                   1                      0                     0
32                   1                      0                     0
33                   1                      0                     0
34                   1                      0                     0
35                   1                      0                     0
36                   1                      0                     0
37                   1                      0                     0
38                   1                      0                     0
39                   1                      0                     0
40                   1                      0                     0
41                   1                      0                     0
42                   1                      0                     0
43                   1                      0                     0
44                   1                      0                     0
45                   1                      0                     0
46                   1                      0                     0
47                   1                      0                     0
48                   1                      0                     0
49                   1                      0                     0
50                   1                      0                     0
51                   0                      1                     0
52                   0                      1                     0
53                   0                      1                     0
54                   0                      1                     0
55                   0                      1                     0
56                   0                      1                     0
57                   0                      1                     0
58                   0                      1                     0
59                   0                      1                     0
60                   0                      1                     0
61                   0                      1                     0
62                   0                      1                     0
63                   0                      1                     0
64                   0                      1                     0
65                   0                      1                     0
66                   0                      1                     0
67                   0                      1                     0
68                   0                      1                     0
69                   0                      1                     0
70                   0                      1                     0
71                   0                      1                     0
72                   0                      1                     0
73                   0                      1                     0
74                   0                      1                     0
75                   0                      1                     0
76                   0                      1                     0
77                   0                      1                     0
78                   0                      1                     0
79                   0                      1                     0
80                   0                      1                     0
81                   0                      1                     0
82                   0                      1                     0
83                   0                      1                     0
84                   0                      1                     0
85                   0                      1                     0
86                   0                      1                     0
87                   0                      1                     0
88                   0                      1                     0
89                   0                      1                     0
90                   0                      1                     0
91                   0                      1                     0
92                   0                      1                     0
93                   0                      1                     0
94                   0                      1                     0
95                   0                      1                     0
96                   0                      1                     0
97                   0                      1                     0
98                   0                      1                     0
99                   0                      1                     0
100                  0                      1                     0
101                  0                      0                     1
102                  0                      0                     1
103                  0                      0                     1
104                  0                      0                     1
105                  0                      0                     1
106                  0                      0                     1
107                  0                      0                     1
108                  0                      0                     1
109                  0                      0                     1
110                  0                      0                     1
111                  0                      0                     1
112                  0                      0                     1
113                  0                      0                     1
114                  0                      0                     1
115                  0                      0                     1
116                  0                      0                     1
117                  0                      0                     1
118                  0                      0                     1
119                  0                      0                     1
120                  0                      0                     1
121                  0                      0                     1
122                  0                      0                     1
123                  0                      0                     1
124                  0                      0                     1
125                  0                      0                     1
126                  0                      0                     1
127                  0                      0                     1
128                  0                      0                     1
129                  0                      0                     1
130                  0                      0                     1
131                  0                      0                     1
132                  0                      0                     1
133                  0                      0                     1
134                  0                      0                     1
135                  0                      0                     1
136                  0                      0                     1
137                  0                      0                     1
138                  0                      0                     1
139                  0                      0                     1
140                  0                      0                     1
141                  0                      0                     1
142                  0                      0                     1
143                  0                      0                     1
144                  0                      0                     1
145                  0                      0                     1
146                  0                      0                     1
147                  0                      0                     1
148                  0                      0                     1
149                  0                      0                     1
150                  0                      0                     1
Stevec
fonte
1

Eu uso essa função (para data.table):

# Ta funkcja dla obiektu data.table i zmiennej var.name typu factor tworzy dummy variables o nazwach "var.name: (level1)"
factorToDummy <- function(dtable, var.name){
  stopifnot(is.data.table(dtable))
  stopifnot(var.name %in% names(dtable))
  stopifnot(is.factor(dtable[, get(var.name)]))

  dtable[, paste0(var.name,": ",levels(get(var.name)))] -> new.names
  dtable[, (new.names) := transpose(lapply(get(var.name), FUN = function(x){x == levels(get(var.name))})) ]

  cat(paste("\nDodano zmienne dummy: ", paste0(new.names, collapse = ", ")))
}

Uso:

data <- data.table(data)
data[, x:= droplevels(x)]
factorToDummy(data, "x")
Maciej Mozolewski
fonte
1

outra maneira de fazer isso é usar

ifelse(year < 1965 , 1, 0)
Sophia J
fonte
0

Oi, eu escrevi esta função geral para gerar uma variável fictícia que essencialmente replica a função de substituição no Stata.

Se x é o quadro de dados é x e eu quero uma variável fictícia chamada aque terá valor 1quando receber x$bvalorc

introducedummy<-function(x,a,b,c){
   g<-c(a,b,c)
  n<-nrow(x)
  newcol<-g[1]
  p<-colnames(x)
  p2<-c(p,newcol)
  new1<-numeric(n)
  state<-x[,g[2]]
  interest<-g[3]
  for(i in 1:n){
    if(state[i]==interest){
      new1[i]=1
    }
    else{
      new1[i]=0
    }
  }
    x$added<-new1
    colnames(x)<-p2
    x
  }
kangkan Dc
fonte
0

Também podemos usar cSplit_ede splitstackshape. Usando dados de @ zx8754

df1 <- data.frame(id = 1:4, year = 1991:1994)
splitstackshape::cSplit_e(df1, "year", fill = 0)

#  id year year_1 year_2 year_3 year_4
#1  1 1991      1      0      0      0
#2  2 1992      0      1      0      0
#3  3 1993      0      0      1      0
#4  4 1994      0      0      0      1

Para fazê-lo funcionar para outros dados além dos numéricos, precisamos especificar de forma typetão "character"explícita

df1 <- data.frame(id = 1:4, let = LETTERS[1:4])
splitstackshape::cSplit_e(df1, "let", fill = 0, type = "character")

#  id let let_A let_B let_C let_D
#1  1   A     1     0     0     0
#2  2   B     0     1     0     0
#3  3   C     0     0     1     0
#4  4   D     0     0     0     1
Ronak Shah
fonte