Como devo transformar dados não negativos, incluindo zeros?

Se tenho dados positivos altamente distorcidos, geralmente tomo logs. Mas o que devo fazer com dados não negativos altamente distorcidos que incluem zeros? Eu vi duas transformações usadas:

• $\log(x+1)$ que possui o recurso puro que 0 mapeia para 0.
• $\log(x+c)$ que c é estimado ou definido como um valor positivo muito pequeno.

Existem outras abordagens? Existem boas razões para preferir uma abordagem a outras?

Parece-me que a escolha mais apropriada de transformação depende do modelo e do contexto.

O ponto '0' pode surgir de várias razões diferentes, cada uma das quais pode ter que ser tratada de maneira diferente:

• Truncamento (como no exemplo de Robin): Use modelos apropriados (por exemplo, misturas, modelos de sobrevivência etc.)
• Dados ausentes: imputar dados / eliminar observações, se apropriado.
• Ponto zero natural (por exemplo, níveis de renda; uma pessoa desempregada tem renda zero): Transforme conforme necessário
• Sensibilidade do instrumento de medição: talvez adicione uma pequena quantidade aos dados?

Na verdade, não estou oferecendo uma resposta, pois suspeito que não haja transformação universal e "correta" quando você tiver zeros.

Ninguém mencionou a transformação inversa do seno hiperbólico. Então, para completar, estou adicionando aqui.

Isto é uma alternativa para as transformações de Box-Cox e é definida por onde θ > 0 . Para qualquer valor de θ , zero é mapeado para zero. Há também uma versão de dois parâmetros que permite uma mudança, assim como na transformação BC de dois parâmetros.

A transformação IHS trabalha com dados definidos em toda a linha real, incluindo valores negativos e zeros. Para valores grandes de ele se comporta como uma transformação de log, independentemente do valor de θ (exceto 0). O caso limitante como θ → 0 fornece f ( y , θ ) → y .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Parece-me que a transformação do IHS deve ser muito mais conhecida do que é.

Uma abordagem útil quando a variável é usada como fator independente na regressão é substituí-la por duas variáveis: uma é um indicador binário de se é zero e a outra é o valor da variável original ou sua re-expressão, como seu logaritmo. Essa técnica é discutida no livro de Hosmer & Lemeshow sobre regressão logística (e em outros lugares, tenho certeza). Gráficos de probabilidade truncados da parte positiva da variável original são úteis para identificar uma reexpressão apropriada. (Veja a análise em https://stats.stackexchange.com/a/30749/919 para exemplos.)

Quando a variável é dependente em um modelo linear, a regressão censurada (como Tobit ) pode ser útil, evitando novamente a necessidade de produzir um logaritmo iniciado. Essa técnica é comum entre economistas.

As transformações de log com turnos são casos especiais das transformações de Box-Cox :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Essa é a forma estendida para valores negativos, mas também aplicável a dados que contêm zeros. Box e Cox (1964) apresentam um algoritmo para encontrar valores apropriados para os 's usando a máxima verossimilhança. Isso lhe dá a transformação definitiva. $\lambda$

Um motivo para preferir as transformações de Box-Cox é que elas são desenvolvidas para garantir suposições para o modelo linear. Há algum trabalho feito para mostrar que, mesmo que seus dados não possam ser transformados em normalidade, o estimado ainda levará a uma distribuição simétrica.$\lambda$

Não sei ao certo como isso trata seus dados, pois pode ser que que é apenas a transformação de log que você mencionou, mas pode valer a pena estimar os λ solicitados para ver se outra transformação é apropriado.$\lambda = (0, 1)$$\lambda$

Em R, a boxcox.fitfunção no pacote geoRcalculará os parâmetros para você.

Estou presumindo que zero! = Falta de dados, pois essa é uma pergunta totalmente diferente.

Ao pensar em como lidar com zeros na regressão linear múltipla, costumo considerar quantos zeros realmente temos?

Apenas alguns zeros

Se eu tiver um único zero em um conjunto de dados razoavelmente grande, tenderá a:

1. Remova o ponto, pegue toras e ajuste o modelo
2. $c$

$c$

Você pode tornar esse procedimento um pouco menos bruto e usar o método boxcox com os turnos descritos na resposta do ars.

Grande número de zeros

Se meu conjunto de dados contiver um grande número de zeros, isso sugere que a regressão linear simples não é a melhor ferramenta para o trabalho. Em vez disso, usaria algo como modelagem de mistura (como sugerido por Srikant e Robin).

Se você quer algo rápido e sujo, por que não usar a raiz quadrada?

Presumo que você tenha dados contínuos.

Se os dados incluem zeros, isso significa que você tem um pico no zero, o que pode ser devido a algum aspecto específico dos seus dados. Aparece, por exemplo, em energia eólica, vento abaixo de 2 m / s produz energia zero (é chamado de corte) e vento sobre (algo em torno de) 25 m / s também produz energia zero (por razões de segurança, é chamado corte) . Enquanto a distribuição da energia eólica produzida parece contínua, há um pico em zero.

Minha solução: neste caso, sugiro tratar os zeros separadamente, trabalhando com uma mistura do pico em zero e o modelo que você planejou usar para a parte da distribuição que é contínua (Lebesgue).

Comparando a resposta fornecida por @RobHyndman a uma transformação de log mais um estendida para valores negativos com o formulário:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

$\theta$$\theta \approx 1$$\theta \rightarrow 0$

$\theta$$x=0$

Como o ajuste de dois parâmetros Box-Cox foi proposto, aqui estão alguns R para ajustar os dados de entrada, execute uma função arbitrária (por exemplo, previsão de séries temporais) e retorne a saída invertida:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Suponha que Y seja a quantia que cada americano gasta em um carro novo em um determinado ano (preço total de compra). Y aumentará em 0; não terá valores entre 0 e cerca de 12.000; e terá outros valores principalmente na adolescência, na faixa dos vinte e nos trinta anos. Os preditores seriam procuradores para o nível de necessidade e / ou interesse em fazer essa compra. Dificilmente seria necessário dizer que a necessidade ou o interesse é zero para indivíduos que não fizeram compras; nessas escalas, os não compradores estariam muito mais próximos dos compradores do que Y ou mesmo o log de Y sugeriria. Em um caso como esse, mas na área da saúde, descobri que as previsões mais precisas, julgadas pela validação cruzada de conjunto de teste / conjunto de treinamento, foram obtidas por, em ordem crescente,

1. Regressão logística em uma versão binária de Y,
2. OLS em Y,
3. Regressão ordinal (PLUM) em Y agrupada em 5 categorias (de modo a dividir os compradores em 4 grupos de tamanhos iguais),
4. Regressão logística multinomial em Y agrupada em 5 categorias,
5. OLS no log (10) de Y (não pensei em tentar a raiz do cubo) e
6. O OLS em Y foi dividido em 5 categorias.

Alguns irão recuar nessa categorização de uma variável dependente contínua. Porém, embora sacrifique algumas informações, categorizar parece ajudar a restaurar um importante aspecto subjacente da situação - novamente, que os "zeros" são muito mais semelhantes aos demais do que Y indicaria.

A transformação de energia da Yeo-Johnson discutida aqui tem excelentes propriedades projetadas para lidar com zeros e negativos, enquanto constrói os pontos fortes da transformação de energia da Box Cox. É para isso que normalmente vou quando estou lidando com zeros ou dados negativos.

Aqui está um resumo das transformações com prós / contras para ilustrar por que a Yeo-Johnson é preferível.

Registro

Prós: funciona bem com dados positivos.

Contras: Não manipula zeros.

> log(0)
[1] -Inf

Log Plus 1

Prós: O deslocamento mais 1 adiciona a capacidade de lidar com zeros, além de dados positivos.

Contras: falha com dados negativos

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Raiz quadrada

Prós: usa uma transformação de energia que pode lidar com zeros e dados positivos.

Contras: falha com dados negativos

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Box Cox

Código R:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Prós: permite transformações de energia em escala

Contras: sofre de problemas com zeros e negativos (ou seja, pode lidar apenas com dados positivos.

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Yeo Johnson

Código R:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Prós: pode lidar com dados positivos, zero e negativos.

Contras: Nada que eu possa pensar. As propriedades são muito semelhantes ao Box-Cox, mas podem lidar com dados zero e negativos.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Para esclarecer como lidar com o logaritmo zero nos modelos de regressão, escrevemos um artigo pedagógico explicando a melhor solução e os erros comuns que as pessoas cometem na prática. Também lançamos uma nova solução para resolver esse problema.

Você pode encontrar o artigo clicando aqui: https://ssrn.com/abstract=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

Em nosso artigo, na verdade, fornecemos um exemplo em que a adição de constantes muito pequenas fornece o viés mais alto. Nós fornecemos derivar uma expressão do viés.

Na verdade, a Poisson Pseudo Maximum Likelihood (PPML) pode ser considerada uma boa solução para esse problema. É preciso considerar o seguinte processo:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Mostramos que esse estimador é imparcial e que pode ser simplesmente estimado com o GMM com qualquer software estatístico padrão. Por exemplo, pode ser estimado executando apenas uma linha de código com o Stata.

Esperamos que este artigo possa ajudar e gostaríamos de receber seus comentários.

Christophe Bellégo e Louis-Daniel Pape CREST - Ecole Polytechnique - ENSAE