Tenho problemas para gerar as seguintes variáveis fictícias em R:
Estou analisando dados de séries temporais anuais (período de 1948-2009). Eu tenho duas perguntas:
Como faço para gerar uma variável dummy para a observação # 10, ou seja, para o ano 1957 (valor = 1 em 1957 e zero em caso contrário)?
Como faço para gerar uma variável dummy que é zero antes de 1957 e assume o valor 1 de 1957 em diante até 2009?
+ 0
ou- 1
. Entãomodel.matrix(~ year.f + 0)
, daremos variáveis dummy sem um nível de referência.A maneira mais simples de produzir essas variáveis fictícias é algo como o seguinte:
> print(year) [1] 1956 1957 1957 1958 1958 1959 > dummy <- as.numeric(year == 1957) > print(dummy) [1] 0 1 1 0 0 0 > dummy2 <- as.numeric(year >= 1957) > print(dummy2) [1] 0 1 1 1 1 1
De forma mais geral, você pode usar
ifelse
para escolher entre dois valores dependendo de uma condição. Portanto, se em vez de uma variável dummy 0-1, por alguma razão você quisesse usar, digamos, 4 e 7, você poderia usarifelse(year == 1957, 4, 7)
.fonte
Usando dummies :: dummy () :
library(dummies) # example data df1 <- data.frame(id = 1:4, year = 1991:1994) df1 <- cbind(df1, dummy(df1$year, sep = "_")) df1 # id year df1_1991 df1_1992 df1_1993 df1_1994 # 1 1 1991 1 0 0 0 # 2 2 1992 0 1 0 0 # 3 3 1993 0 0 1 0 # 4 4 1994 0 0 0 1
fonte
O pacote
mlr
incluicreateDummyFeatures
para este propósito:library(mlr) df <- data.frame(var = sample(c("A", "B", "C"), 10, replace = TRUE)) df # var # 1 B # 2 A # 3 C # 4 B # 5 C # 6 A # 7 C # 8 A # 9 B # 10 C createDummyFeatures(df, cols = "var") # var.A var.B var.C # 1 0 1 0 # 2 1 0 0 # 3 0 0 1 # 4 0 1 0 # 5 0 0 1 # 6 1 0 0 # 7 0 0 1 # 8 1 0 0 # 9 0 1 0 # 10 0 0 1
createDummyFeatures
elimina a variável original.https://www.rdocumentation.org/packages/mlr/versions/2.9/topics/createDummyFeatures
.....
fonte
As outras respostas aqui oferecem rotas diretas para realizar essa tarefa - uma que muitos modelos (por exemplo
lm
) farão por você internamente de qualquer maneira. No entanto, aqui estão maneiras de criar variáveis fictícias com os pacotescaret
e populares de Max Kuhnrecipes
. Embora um pouco mais prolixos, ambos se adaptam facilmente a situações mais complicadas e se encaixam perfeitamente em suas respectivas estruturas.caret::dummyVars
Com
caret
, a função relevante édummyVars
, que tem umpredict
método para aplicá-la em um quadro de dados:df <- data.frame(letter = rep(c('a', 'b', 'c'), each = 2), y = 1:6) library(caret) dummy <- dummyVars(~ ., data = df, fullRank = TRUE) dummy #> Dummy Variable Object #> #> Formula: ~. #> 2 variables, 1 factors #> Variables and levels will be separated by '.' #> A full rank encoding is used predict(dummy, df) #> letter.b letter.c y #> 1 0 0 1 #> 2 0 0 2 #> 3 1 0 3 #> 4 1 0 4 #> 5 0 1 5 #> 6 0 1 6
recipes::step_dummy
Com
recipes
, a função relevante éstep_dummy
:library(recipes) dummy_recipe <- recipe(y ~ letter, df) %>% step_dummy(letter) dummy_recipe #> Data Recipe #> #> Inputs: #> #> role #variables #> outcome 1 #> predictor 1 #> #> Steps: #> #> Dummy variables from letter
Dependendo do contexto, extraia os dados com
prep
ebake
oujuice
:# Prep and bake on new data... dummy_recipe %>% prep() %>% bake(df) #> # A tibble: 6 x 3 #> y letter_b letter_c #> <int> <dbl> <dbl> #> 1 1 0 0 #> 2 2 0 0 #> 3 3 1 0 #> 4 4 1 0 #> 5 5 0 1 #> 6 6 0 1 # ...or use `retain = TRUE` and `juice` to extract training data dummy_recipe %>% prep(retain = TRUE) %>% juice() #> # A tibble: 6 x 3 #> y letter_b letter_c #> <int> <dbl> <dbl> #> 1 1 0 0 #> 2 2 0 0 #> 3 3 1 0 #> 4 4 1 0 #> 5 5 0 1 #> 6 6 0 1
fonte
Para o caso de uso apresentado na pergunta, você também pode simplesmente multiplicar a condição lógica com
1
(ou talvez ainda melhor, com1L
):# example data df1 <- data.frame(yr = 1951:1960) # create the dummies df1$is.1957 <- 1L * (df1$yr == 1957) df1$after.1957 <- 1L * (df1$yr >= 1957)
que dá:
Para os casos de uso apresentados, por exemplo, nas respostas de @ zx8754 e @Sotos, ainda existem algumas outras opções que ainda não foram abordadas.
1) Faça sua própria
make_dummies
função# example data df2 <- data.frame(id = 1:5, year = c(1991:1994,1992)) # create a function make_dummies <- function(v, prefix = '') { s <- sort(unique(v)) d <- outer(v, s, function(v, s) 1L * (v == s)) colnames(d) <- paste0(prefix, s) d } # bind the dummies to the original dataframe cbind(df2, make_dummies(df2$year, prefix = 'y'))
que dá:
2) usar a
dcast
função -de qualquerTabela de dados ou remodelar 2que dá:
No entanto, isso não funcionará quando houver valores duplicados na coluna para a qual os dummies devem ser criados. No caso de uma função de agregação específica ser necessária
dcast
e o resultado dadcast
necessidade de ser mesclado de volta ao original:# example data df3 <- data.frame(var = c("B", "C", "A", "B", "C")) # aggregation function to get dummy values f <- function(x) as.integer(length(x) > 0) # reshape to wide with the cumstom aggregation function and merge back to the original merge(df3, dcast(df3, var ~ var, fun.aggregate = f), by = 'var', all.x = TRUE)
que dá (observe que o resultado é ordenado de acordo com a
by
coluna):3) use o
spread
função -detidyr(commutate
dedplyr)library(dplyr) library(tidyr) df2 %>% mutate(v = 1, yr = year) %>% spread(yr, v, fill = 0)
que dá:
fonte
O que normalmente faço para trabalhar com este tipo de variáveis fictícias é:
(1) como faço para gerar uma variável dummy para a observação # 10, ou seja, para o ano de 1957 (valor = 1 em 1957 e zero caso contrário)
data$factor_year_1 <- factor ( with ( data, ifelse ( ( year == 1957 ), 1 , 0 ) ) )
(2) como faço para gerar uma variável dummy que é zero antes de 1957 e assume o valor 1 de 1957 em diante até 2009?
data$factor_year_2 <- factor ( with ( data, ifelse ( ( year < 1957 ), 0 , 1 ) ) )
Então, posso introduzir esse fator como uma variável dummy em meus modelos. Por exemplo, para ver se há uma tendência de longo prazo em uma variável
y
:Espero que isto ajude!
fonte
Se você deseja obter K variáveis fictícias, em vez de K-1, tente:
dummies = table(1:length(year),as.factor(year))
melhor,
fonte
as.data.frame.matrix(dummies)
para traduzi-lo para umEu li isso no fórum Kaggle:
#Generate example dataframe with character column example <- as.data.frame(c("A", "A", "B", "F", "C", "G", "C", "D", "E", "F")) names(example) <- "strcol" #For every unique value in the string column, create a new 1/0 column #This is what Factors do "under-the-hood" automatically when passed to function requiring numeric data for(level in unique(example$strcol)){ example[paste("dummy", level, sep = "_")] <- ifelse(example$strcol == level, 1, 0) }
fonte
A
ifelse
função é melhor para lógica simples como esta.> x <- seq(1950, 1960, 1) ifelse(x == 1957, 1, 0) ifelse(x <= 1957, 1, 0) > [1] 0 0 0 0 0 0 0 1 0 0 0 > [1] 1 1 1 1 1 1 1 1 0 0 0
Além disso, se você quiser que ele retorne dados de caractere, poderá fazê-lo.
> x <- seq(1950, 1960, 1) ifelse(x == 1957, "foo", "bar") ifelse(x <= 1957, "foo", "bar") > [1] "bar" "bar" "bar" "bar" "bar" "bar" "bar" "foo" "bar" "bar" "bar" > [1] "foo" "foo" "foo" "foo" "foo" "foo" "foo" "foo" "bar" "bar" "bar"
Variáveis categóricas com aninhamento ...
> x <- seq(1950, 1960, 1) ifelse(x == 1957, "foo", ifelse(x == 1958, "bar","baz")) > [1] "baz" "baz" "baz" "baz" "baz" "baz" "baz" "foo" "bar" "baz" "baz"
Esta é a opção mais direta.
fonte
Outra maneira é usar a
mtabulate
partir doqdapTools
pacote, ou seja,df <- data.frame(var = sample(c("A", "B", "C"), 5, replace = TRUE)) var #1 C #2 A #3 C #4 B #5 B library(qdapTools) mtabulate(df$var)
que dá,
fonte
Converta seus dados em data.table e use set por referência e filtragem de linha
library(data.table) dt <- as.data.table(your.dataframe.or.whatever) dt[, is.1957 := 0] dt[year == 1957, is.1957 := 1]
Exemplo de brinquedo de prova de conceito:
library(data.table) dt <- as.data.table(cbind(c(1, 1, 1), c(2, 2, 3))) dt[, is.3 := 0] dt[V2 == 3, is.3 := 1]
fonte
Este forro na base R
model.matrix( ~ iris$Species - 1)
dá
iris$Speciessetosa iris$Speciesversicolor iris$Speciesvirginica 1 1 0 0 2 1 0 0 3 1 0 0 4 1 0 0 5 1 0 0 6 1 0 0 7 1 0 0 8 1 0 0 9 1 0 0 10 1 0 0 11 1 0 0 12 1 0 0 13 1 0 0 14 1 0 0 15 1 0 0 16 1 0 0 17 1 0 0 18 1 0 0 19 1 0 0 20 1 0 0 21 1 0 0 22 1 0 0 23 1 0 0 24 1 0 0 25 1 0 0 26 1 0 0 27 1 0 0 28 1 0 0 29 1 0 0 30 1 0 0 31 1 0 0 32 1 0 0 33 1 0 0 34 1 0 0 35 1 0 0 36 1 0 0 37 1 0 0 38 1 0 0 39 1 0 0 40 1 0 0 41 1 0 0 42 1 0 0 43 1 0 0 44 1 0 0 45 1 0 0 46 1 0 0 47 1 0 0 48 1 0 0 49 1 0 0 50 1 0 0 51 0 1 0 52 0 1 0 53 0 1 0 54 0 1 0 55 0 1 0 56 0 1 0 57 0 1 0 58 0 1 0 59 0 1 0 60 0 1 0 61 0 1 0 62 0 1 0 63 0 1 0 64 0 1 0 65 0 1 0 66 0 1 0 67 0 1 0 68 0 1 0 69 0 1 0 70 0 1 0 71 0 1 0 72 0 1 0 73 0 1 0 74 0 1 0 75 0 1 0 76 0 1 0 77 0 1 0 78 0 1 0 79 0 1 0 80 0 1 0 81 0 1 0 82 0 1 0 83 0 1 0 84 0 1 0 85 0 1 0 86 0 1 0 87 0 1 0 88 0 1 0 89 0 1 0 90 0 1 0 91 0 1 0 92 0 1 0 93 0 1 0 94 0 1 0 95 0 1 0 96 0 1 0 97 0 1 0 98 0 1 0 99 0 1 0 100 0 1 0 101 0 0 1 102 0 0 1 103 0 0 1 104 0 0 1 105 0 0 1 106 0 0 1 107 0 0 1 108 0 0 1 109 0 0 1 110 0 0 1 111 0 0 1 112 0 0 1 113 0 0 1 114 0 0 1 115 0 0 1 116 0 0 1 117 0 0 1 118 0 0 1 119 0 0 1 120 0 0 1 121 0 0 1 122 0 0 1 123 0 0 1 124 0 0 1 125 0 0 1 126 0 0 1 127 0 0 1 128 0 0 1 129 0 0 1 130 0 0 1 131 0 0 1 132 0 0 1 133 0 0 1 134 0 0 1 135 0 0 1 136 0 0 1 137 0 0 1 138 0 0 1 139 0 0 1 140 0 0 1 141 0 0 1 142 0 0 1 143 0 0 1 144 0 0 1 145 0 0 1 146 0 0 1 147 0 0 1 148 0 0 1 149 0 0 1 150 0 0 1
fonte
Eu uso essa função (para data.table):
# Ta funkcja dla obiektu data.table i zmiennej var.name typu factor tworzy dummy variables o nazwach "var.name: (level1)" factorToDummy <- function(dtable, var.name){ stopifnot(is.data.table(dtable)) stopifnot(var.name %in% names(dtable)) stopifnot(is.factor(dtable[, get(var.name)])) dtable[, paste0(var.name,": ",levels(get(var.name)))] -> new.names dtable[, (new.names) := transpose(lapply(get(var.name), FUN = function(x){x == levels(get(var.name))})) ] cat(paste("\nDodano zmienne dummy: ", paste0(new.names, collapse = ", "))) }
Uso:
data <- data.table(data) data[, x:= droplevels(x)] factorToDummy(data, "x")
fonte
outra maneira de fazer isso é usar
ifelse(year < 1965 , 1, 0)
fonte
Oi, eu escrevi esta função geral para gerar uma variável fictícia que essencialmente replica a função de substituição no Stata.
Se x é o quadro de dados é x e eu quero uma variável fictícia chamada
a
que terá valor1
quando receberx$b
valorc
introducedummy<-function(x,a,b,c){ g<-c(a,b,c) n<-nrow(x) newcol<-g[1] p<-colnames(x) p2<-c(p,newcol) new1<-numeric(n) state<-x[,g[2]] interest<-g[3] for(i in 1:n){ if(state[i]==interest){ new1[i]=1 } else{ new1[i]=0 } } x$added<-new1 colnames(x)<-p2 x }
fonte
Também podemos usar
cSplit_e
desplitstackshape
. Usando dados de @ zx8754df1 <- data.frame(id = 1:4, year = 1991:1994) splitstackshape::cSplit_e(df1, "year", fill = 0) # id year year_1 year_2 year_3 year_4 #1 1 1991 1 0 0 0 #2 2 1992 0 1 0 0 #3 3 1993 0 0 1 0 #4 4 1994 0 0 0 1
Para fazê-lo funcionar para outros dados além dos numéricos, precisamos especificar de forma
type
tão"character"
explícitadf1 <- data.frame(id = 1:4, let = LETTERS[1:4]) splitstackshape::cSplit_e(df1, "let", fill = 0, type = "character") # id let let_A let_B let_C let_D #1 1 A 1 0 0 0 #2 2 B 0 1 0 0 #3 3 C 0 0 1 0 #4 4 D 0 0 0 1
fonte