Regressão quantílica: função de perda

Estou tentando entender a regressão quantílica, mas uma coisa que me faz sofrer é a escolha da função de perda.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

Eu sei que o mínimo da expectativa de é igual ao -quantile, mas qual é o motivo intuitivo para começar com essa função? Não vejo a relação entre minimizar essa função e o quantil. Alguém pode me explicar?$\rho_\tau(y-u)$$\tau\%$

Entendo essa pergunta como pedindo uma compreensão de como alguém poderia criar qualquer função de perda que produza um determinado quantil como minimizador de perda, independentemente da distribuição subjacente. Seria insatisfatório, então, apenas repetir a análise na Wikipedia ou em outro lugar que mostre que essa função de perda específica funciona.

Vamos começar com algo familiar e simples.

O que você está falando é encontrar um "local" em relação a uma distribuição ou conjunto de dados . É sabido, por exemplo, que a média minimiza o resíduo quadrado esperado; isto é, é um valor pelo qual$x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

é o menor possível. Eu usei essa notação para nos lembrar que é derivado de uma perda , que é determinado por , mas o mais importante é que depende do número .$\mathcal{L}$$F$$\bar x$

A maneira padrão de mostrar que minimiza qualquer função começa demonstrando que o valor da função não diminui quando é alterado um pouco. Esse valor é chamado de ponto crítico da função.$x^{*}$$x^{*}$

Que tipo de função de perda resultaria em um percentil sendo um ponto crítico? A perda para esse valor seria$\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

Para que este seja um ponto crítico, sua derivada deve ser zero. Desde que nós estamos apenas tentando encontrar alguma solução, não vamos fazer uma pausa para ver se as manipulações são legítimas: vamos planejar para verificar detalhes técnicos (como se realmente pode diferenciar $\Lambda$ , etc. ) no final. portanto

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

No lado esquerdo, o argumento de é negativo, enquanto no lado direito é positivo. Fora isso, temos pouco controle sobre os valores dessas integrais porque F pode ser qualquer função de distribuição. Consequentemente a nossa única esperança é fazer Λ ' depende apenas do sinal da sua argumentação, e caso contrário, deve ser constante.$\Lambda$$F$$\Lambda^\prime$

Isto implica será linear por partes, potencialmente com diferentes inclinações para a esquerda e à direita do zero. Claramente, deve estar diminuindo à medida que se aproxima do zero - afinal, é uma perda e não um ganho . Além disso, o redimensionamento de Λ por uma constante não altera suas propriedades, portanto, podemos ficar à vontade para definir a inclinação da mão esquerda para - 1 . Seja τ > 0 a inclinação da mão direita. Então ( 1 ) simplifica para$\Lambda$$\Lambda$$-1$$\tau \gt 0$$(1)$

$$0 = \alpha - \tau (1 - \alpha),$$

de onde a solução única é, até um múltiplo positivo,

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

Multiplicar esta solução (natural) por , para limpar o denominador, produz a função de perda apresentada na pergunta.$1-\alpha$

Claramente todas as nossas manipulações são matematicamente legítimas quando tem essa forma. $\Lambda$

A maneira como essa função de perda é expressa é agradável e compacta, mas acho que é mais fácil entendê-la reescrevendo-a como

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

Se você quiser ter uma idéia intuitiva do porquê de minimizar essa função de perda render o $\tau$ quantil, é útil considerar um exemplo simples. Seja $X$ uma variável aleatória uniforme entre 0 e 1. Vamos também escolher um valor concreto para $\tau$ , digamos, $0.25$ .

Então agora a questão é por que essa função de perda seria minimizada em $m=0.25$ ? Obviamente, há três vezes mais massa na distribuição uniforme à direita de $m$ do que à esquerda. E a função de perda pesa os valores maiores que esse número em apenas um terço do peso atribuído a valores menores que ele. Portanto, é intuitivo que as escalas sejam balanceadas quando o $\tau$ th é usado como ponto de inflexão para a função de perda.