Qual é o problema com ?

Eu sei que este é o sistema de solução de problemas de equações lineares.

Mas minha pergunta é por que é um problema o número de observações ser menor que o número de preditores, como isso pode acontecer?

A coleta de dados não provém do delicado projeto de pesquisa ou do experimento, na medida em que pelo menos eles pensam sobre isso?

Se a coleta de dados deseja coletar 45 variáveis ​​para realizar pesquisas, por que ele coletaria menos de 45 observações? Perdi alguma coisa e, embora a parte de seleção do modelo também tenha eliminado as variáveis ​​de não melhoria na resposta e sempre a variável coletada será eliminada para certo? $45-(45-p)$

Então, por que enfrentaríamos a solução não exclusiva nesses casos?

Isso pode ocorrer em muitos cenários, poucos exemplos são:

1. Análise de dados médicos em hospitais. Pesquisadores médicos que estudam um câncer em particular podem fazer a coleta de dados em seu próprio hospital, e acho que não é uma coisa ruim que eles tentem coletar muitas variáveis ​​possíveis de um paciente em particular, como idade, sexo, tamanho do tumor, ressonância magnética e volume da tomografia computadorizada.
2. Estudos de microprocessadores em bioinformática. Geralmente, você não tem muitas espécies, mas deseja poder testar o maior número possível de efeitos.
3. Análise com imagens. Você costuma ter 16 milhões de pixels, embora seja muito difícil coletar e armazenar tantas imagens.
4. As reconstruções por ressonância magnética geralmente são problemas semelhantes, que precisam de técnicas de regressão esparsas, e melhorá-las é realmente uma questão central na pesquisa de imagens por ressonância magnética.

A solução é realmente, examinar a literatura de regressão e encontrar o que melhor funciona para sua aplicação.

1. Se você possui conhecimento de domínio, incorpore em sua distribuição anterior e adote uma abordagem bayesiana com regressão linear bayesiana.

2. Se você deseja encontrar uma solução esparsa, a abordagem empírica de Bayes da determinação automática de relevância pode ser o caminho a seguir.

3. Se você acha que, com o seu problema, ter uma noção de probabilidades é inapropriado (como resolver um sistema linear de equações), talvez valha a pena examinar o pseudo-inverso de Moore-Penrose.

4. Você pode abordá-lo a partir de uma perspectiva de seleção de recursos e reduzir o número de p até que seja um problema bem colocado.

Esta é uma pergunta muito boa. Quando o número de candidatos a preditores é maior que o tamanho efetivo da amostra , e não há restrições nos coeficientes de regressão (por exemplo, um não está usando encolhimento, também conhecido como estimativa ou regularização de verossimilhança máxima penalizada), a situação é desesperadora. Eu digo que por várias razões, incluindo$p$$n$

• Se você pensar no número de combinações lineares não redundantes de variáveis ​​que podem ser analisadas, esse número é . Por exemplo, você não pode nem computar , muito menos confiar, componentes principais além de .$\leq \min(n, p)$$\min(n, p)$
• Com e não há duas coordenadas em uma linha vertical ao plotar , pode-se obter para qualquer conjunto de dados, mesmo que a população real seja 0,0.$p = n$$y$$(x, y)$$R^{2}=1.0$$R^2$
• Se você usar qualquer algoritmo de seleção de recurso, como temidos modelos de regressão passo a passo, a lista de recursos "selecionados" será essencialmente um conjunto aleatório de recursos, sem esperança de replicação em outra amostra. Isto é especialmente verdade se houver correlações entre as características candidatas, por exemplo, co-linearidade.
• O valor de necessário para estimar com precisão decente um único coeficiente de correlação entre duas variáveis ​​é de cerca de 400. Veja aqui .$n$

Em geral, um estudo que pretende analisar 45 variáveis ​​em 45 indivíduos é mal planejado e as únicas maneiras de resgatá-lo que eu conheço são

• Pré-especifique um ou dois preditores para analisar e ignorar o restante
• Use estimativa penalizada, como regressão de crista, para ajustar todas as variáveis, mas use os coeficientes com um grão de sal (descontos pesados)
• Use a redução de dados, por exemplo, componentes principais, clustering variável, componentes principais esparsos (o meu favorito), conforme discutido no meu livro do RMS e nas notas do curso . Isso envolve combinar variáveis ​​difíceis de separar e não tentar estimar efeitos separados para elas. Para você só pode se dar bem com 2 pontuações reduzidas por jogar contra . A redução de dados (aprendizado não supervisionado) é mais interpretável do que a maioria dos outros métodos.$n=45$$y$

Um detalhe técnico: se você usar um dos melhores métodos combinados de seleção / penalização de variáveis, como laço ou rede elástica, poderá diminuir a chance de sobreajuste, mas ficará decepcionado com o fato de a lista de recursos selecionados ser altamente instável e não se replicar em outros conjuntos de dados.