Visão unificada sobre o encolhimento: qual é a relação (se houver) entre o paradoxo de Stein, a regressão de crista e os efeitos aleatórios em modelos mistos?

Considere os três fenômenos a seguir.

1. Paradoxo de Stein: dados alguns dados da distribuição normal multivariada em , a média da amostra não é um estimador muito bom da verdadeira média. Pode-se obter uma estimativa com erro quadrado médio mais baixo se reduzirmos todas as coordenadas da amostra em direção a zero [ou em relação à sua média, ou na verdade em relação a qualquer valor, se bem entendi].$\mathbb R^n, \: n\ge 3$

   Nota: normalmente o paradoxo de Stein é formulado considerando-se apenas um único ponto de dados de ; corrija-me se isso for crucial e minha formulação acima não estiver correta.$\mathbb R^n$

2. Regressão de Ridge: dada uma variável dependente e algumas variáveis ​​independentes , a regressão padrão tende superestimar os dados e levar a um desempenho fora da amostra ruim. Pode-se reduzir o sobreajuste encolhendo direção a zero: .$\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. Efeitos aleatórios em modelos multiníveis / mistos: dada uma variável dependente (por exemplo, a altura do aluno) que depende de alguns preditores categóricos (por exemplo, id da escola e sexo do aluno), recomenda-se frequentemente tratar alguns preditores como 'aleatórios', ou seja, supondo que a altura média do aluno em cada escola vem de alguma distribuição normal subjacente. Isso resulta na redução das estimativas da altura média por escola em relação à média global.$y$

Tenho a sensação de que tudo isso são vários aspectos do mesmo fenômeno do "encolhimento", mas não tenho certeza e certamente não tenho uma boa intuição sobre isso. Portanto, minha pergunta principal é: existe realmente uma profunda semelhança entre essas três coisas, ou é apenas uma aparência superficial? Qual é o tema comum aqui? Qual é a intuição correta sobre isso?

Além disso, aqui estão algumas peças deste quebra-cabeça que realmente não se encaixam para mim:

• Na regressão de crista, não é reduzido uniformemente; o encolhimento da cordilheira está realmente relacionado à decomposição de valores singulares de , com as direções de baixa variância sendo mais reduzidas (consulte, por exemplo, The Elements of Statistical Learning 3.4.1). Mas o estimador de James-Stein simplesmente pega a média da amostra e a multiplica por um fator de escala. Como isso se encaixa?$\beta$$\mathbf X$

  Atualização: consulte James-Stein Estimator com variações desiguais e, por exemplo, aqui, sobre variações de coeficientes .$\beta$

• A média da amostra é ótima nas dimensões abaixo de 3. Isso significa que, quando houver apenas um ou dois preditores no modelo de regressão, a regressão da crista será sempre pior que os mínimos quadrados comuns? Na verdade, pensando bem, não consigo imaginar uma situação em 1D (isto é, regressão simples e não múltipla) em que o encolhimento da crista seria benéfico ...

  Atualização: Não. Consulte Sob exatamente quais condições a regressão de crista pode fornecer uma melhoria em relação à regressão de mínimos quadrados ordinários?

• Por outro lado, a média da amostra é sempre abaixo do ideal em dimensões acima de 3. Isso significa que, com mais de três preditores, a regressão da crista é sempre melhor que a OLS, mesmo que todos os preditores não estejam correlacionados (ortogonais)? Geralmente, a regressão de crista é motivada pela multicolinearidade e pela necessidade de "estabilizar" o termo .$(\mathbf X^\top \mathbf X)^{-1}$

  Atualização: Sim! Veja o mesmo tópico acima.

• Muitas vezes há uma discussão acalorada sobre se vários fatores na ANOVA devem ser incluídos como efeitos fixos ou aleatórios. Pela mesma lógica, não deveríamos sempre tratar um fator aleatoriamente se ele tiver mais de dois níveis (ou se houver mais de dois fatores? Agora estou confuso)?

  Atualização :?

---

Atualização: recebi ótimas respostas, mas nenhuma fornece uma imagem grande o suficiente, por isso deixarei a pergunta "aberta". Posso prometer conceder uma recompensa de pelo menos 100 pontos a uma nova resposta que superará as existentes. Procuro principalmente uma visão unificadora que possa explicar como o fenômeno geral de encolhimento se manifesta nesses vários contextos e apontar as principais diferenças entre eles.

Conexão entre o estimador de James – Stein e a regressão de crista

Seja um vetor de observação de de comprimento , , o estimador de James-Stein é Em termos de regressão de crista, podemos estimar via que a solução é É fácil ver que os dois estimadores estão na mesma forma, mas precisamos estimar$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ no estimador James-Stein e determine na regressão de crista através da validação cruzada.$\lambda$

Conexão entre o estimador de James – Stein e os modelos de efeitos aleatórios

Vamos discutir primeiro os modelos de efeitos mistos / aleatórios na genética. O modelo é Se não houver efeitos fixos e , o modelo se tornará que é equivalente à configuração do estimador James-Stein, com alguns Ideia bayesiana.

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Conexão entre modelos de efeitos aleatórios e regressão de crista

Se focarmos nos modelos de efeitos aleatórios acima, A estimativa é equivalente a resolver o problema quando . A prova pode ser encontrada no Capítulo 3 do Reconhecimento de padrões e aprendizado de máquina .

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Conexão entre modelos de efeitos aleatórios (multiníveis) e genética

No modelo de efeitos aleatórios acima, a dimensão de é e a de é . Se vetorizarmos como e repetirmos correspondentemente, teremos a estrutura hierárquica / agrupada, clusters e cada um com unidades. Se regredirmos em repetido , podemos obter o efeito aleatório de em para cada cluster, embora seja como regressão reversa.$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Agradecimento : os três primeiros pontos são amplamente aprendidos com esses dois artigos chineses, 1 , 2 .

Vou deixar como um exercício para a comunidade elaborar essa resposta, mas, em geral, a razão pela qual os estimadores de encolhimento * dominam * estimadores imparciais em amostras finitas é porque os estimadores de Bayes não podem ser dominados , e muitos estimadores de encolhimento podem ser derivados como sendo Bayes. $^1$$^2$$^3$$^4$

Tudo isso está sob a égide da teoria da decisão. Uma referência exaustiva, mas bastante hostil, é a "Teoria da estimativa pontual" de Lehmann e Casella. Talvez outros possam concordar com referências mais amigáveis?

---

$^1$ Um estimador do parâmetro nos dados é dominado por outro estimador se para cada o risco (por exemplo, erro quadrado médio) de é igual ou maior que e supera por pelo menos um . Em outras palavras, você obtém desempenho igual ou melhor para em qualquer lugar do espaço de parâmetros.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ Um estimador é Bayes (de qualquer forma com perda de erro ao quadrado) se for a expectativa posterior de , dados os dados, em alguns anteriores , por exemplo, , onde a expectativa é tomada com a posterior. Naturalmente, diferentes antecedentes levam a riscos diferentes para diferentes subconjuntos de . Um exemplo importante de brinquedo é o anterior que coloca todos os anteriores massa sobre o ponto . Então você pode mostrar que o estimador Bayes é a função constante$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, que obviamente tem um desempenho extremamente bom em e próximo , e um desempenho muito ruim em outros lugares. Mas, no entanto, não pode ser dominado, porque apenas esse estimador leva a risco zero em .$\theta_0$$\theta_0$

$^3$ Uma pergunta natural é se algum estimador que não pode ser dominado (chamado admissível , embora não seja indomável, seria snazzier?) Precisa ser Bayes? A resposta é quase. Veja "teoremas completos de classe".

$^4$ Por exemplo, a regressão de cume surge como um procedimento bayesiano quando você coloca um Normal (0, ) anterior em , e os modelos de efeito aleatório surgem como um procedimento bayesiano empírico em uma estrutura semelhante . Esses argumentos são complicados pelo fato de que a versão baunilha dos teoremas bayesianos de admissibilidade pressupõe que todo parâmetro tenha um prévio apropriado. Mesmo na regressão de crista, isso não é verdade, porque o "anterior" está sendo colocado na variação$1/\lambda^2$$\beta$$\sigma^2$O termo erro é a função constante (medida de Lebesgue), que não é uma distribuição de probabilidade adequada (integrável). No entanto, muitos desses estimadores Bayes "parcialmente" podem ser mostrados admissíveis demonstrando que são o "limite" de uma sequência de estimadores que são Bayes adequados. Mas as provas aqui ficam complicadas e delicadas. Consulte "estimadores de bayes generalizados".

• James-Stein assume que a dimensão da resposta é pelo menos 3. Na regressão padrão da crista, a resposta é unidimensional. Você está confundindo o número de preditores com a dimensão da resposta.

• Dito isto, vejo a semelhança entre essas situações, mas o que exatamente fazer, por exemplo, se um fator deve ser fixo ou aleatório, qual a contração aplicada, se é que existe, depende do conjunto de dados específico. Por exemplo, quanto mais ortogonais são os preditores, menos faz sentido escolher a regressão de Ridge sobre a regressão padrão. Quanto maior o número de parâmetros, mais faz sentido extrair o anterior do próprio conjunto de dados via Empirical Bayes e depois usá-lo para reduzir as estimativas de parâmetros. Quanto maior a relação sinal / ruído, menores os benefícios do encolhimento, etc.

Como já foi dito, a conexão entre os três é como você incorpora as informações anteriores na medição.

1. No caso do paradoxo de Stein, você sabe que a verdadeira correlação entre as variáveis ​​de entrada deve ser zero (e todas as medidas de correlação possíveis, já que você quer implicar independência, não apenas falta de correlação); portanto, você pode construir uma variável melhor que a simples média da amostra e suprimir as várias medidas de correlação. Na estrutura bayesiana, você pode construir um prior que literalmente pesa os eventos que levam à correlação entre as médias da amostra e os demais.
2. No caso de regressão de crista, você deseja encontrar uma boa estimativa para o valor da expectativa condicional E (y | x). Em princípio, este é um problema de dimensão infinita e mal definido, pois temos apenas um número finito de medições. No entanto, o conhecimento prévio é que estamos procurando uma função contínua que modele os dados. Isso ainda está mal definido, pois ainda existem infinitas maneiras de modelar funções contínuas, mas o conjunto é um pouco menor. A regressão de Ridge é apenas uma maneira simples de classificar as possíveis funções contínuas, testá-las e parar em um grau final de liberdade. Uma interpretação é a imagem da dimensão VC: durante a regressão do cume, você verifica se o modelo af (x, p1, p2 ...) com um determinado grau de liberdade descreve a incerteza inerente aos dados. Praticamente, mede quão bem pode f (x, p1, p2 ... ) e o P empírico (p1, p2 ...) podem reconstruir a distribuição completa de P (y | x) e não apenas E (y | x). Dessa forma, os modelos com muito grau de liberdade (que geralmente superajustam) são pesados, uma vez que mais parâmetros médios após um certo grau de liberdade fornecerão maiores correlações entre os parâmetros e, consequentemente, P (f (x, p1, p2) muito mais amplos. ..)) distribuições. Uma outra interpretação é que a função de perda original também é um valor de medida, e a avaliação em uma determinada amostra vem com uma incerteza; portanto, a tarefa real não é minimizar a função de perda, mas encontrar um mínimo significativamente menor que o valor da medida. outros (praticamente mudar de um grau de liberdade para outro é uma decisão bayesiana, portanto, um altera o número de parâmetros somente se eles derem uma diminuição significativa na função de perda). A regressão de crista pode ser interpretada como uma aproximação a essas duas figuras (dimensão CV, perda esperada). Em alguns casos, você deseja preferir graus mais altos de liberdade, por exemplo, na física de partículas, você estuda a colisão de partículas em que espera que o número de partículas produzidas seja uma distribuição de Poisson, para reconstruir a trilha de partículas em uma imagem (uma foto por exemplo ) de uma maneira que prefere um determinado número de faixas e suprime modelos que tenham uma interpretação menor ou maior da imagem.
3. O terceiro caso também tenta implementar uma informação prévia na medição, a saber, a partir de medidas anteriores, que se sabe que a altura dos alunos pode ser modelada muito bem por distribuições gaussianas e não por um Cauchy, por exemplo.

Portanto, em resumo, a resposta é que você pode reduzir a incerteza de uma medição se souber o que esperar e categorizar os dados com alguns dados anteriores (as informações anteriores). Esses dados anteriores são o que restringe sua função de modelagem que você usa para ajustar as medições. Em casos simples, você pode escrever seu modelo na estrutura bayesiana, mas às vezes é impraticável, como integrar todas as funções contínuas possíveis para encontrar aquela que possui o valor Bayesiano Máximo A Posterior.

Estimador de James Stein e regressão de Ridge

Considerar

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

Com $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

A solução menos quadrada tem a forma

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ onde .$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ é imparcial para e tem matriz de covariância . Portanto, podemos escrever$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ Observe que são as estimativas de máxima verossimilhança, MLE.$\hat \beta$

James Stein

Para simplificar para o Jame Stein vamos supor . James e Stein adicionarão um prior no , no formato$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

E obterá um posterior da forma , eles então estimará com e obterá um estimador de James Stein no formato$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ .

Regressão de Ridge

Na regressão de cume, geralmente é padronizado (média 0, variação 1 para cada coluna de ), de modo que os parâmetros de regressão sejam comparáveis. Quando este é para .$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

Uma estimativa de regressão de é definida como , a ser$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ note que é o MLE.$\hat \beta$

Como derivado? Recordar$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ e se adicionarmos um Bayesiano anterior

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Então nós temos

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

O mesmo que a estimativa de regressão de crista . Portanto, a forma original do James Stein dada aqui leva e .$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$