Regras práticas para o tamanho mínimo da amostra para regressão múltipla

72

No contexto de uma proposta de pesquisa em ciências sociais, me fizeram a seguinte pergunta:

Eu sempre fui 100 + m (onde m é o número de preditores) ao determinar o tamanho mínimo da amostra para regressão múltipla. Isso é apropriado?

Eu recebo muitas perguntas semelhantes, geralmente com regras diferentes. Eu também já li bastante essas regras em vários livros didáticos. Às vezes me pergunto se a popularidade de uma regra em termos de citações se baseia em quão baixo o padrão é estabelecido. No entanto, também estou ciente do valor de boas heurísticas na simplificação da tomada de decisões.

Questões:

  • Qual é a utilidade de regras práticas simples para tamanhos mínimos de amostra no contexto de pesquisadores aplicados que elaboram estudos de pesquisa?
  • Você sugeriria uma regra prática alternativa para o tamanho mínimo da amostra para regressão múltipla?
  • Como alternativa, que estratégias alternativas você sugeriria para determinar o tamanho mínimo da amostra para regressão múltipla? Em particular, seria bom se o valor fosse atribuído ao grau em que qualquer estratégia possa ser prontamente aplicada por um não estatístico.
Jeromy Anglim
fonte

Respostas:

36

Não sou fã de fórmulas simples para gerar tamanhos mínimos de amostra. No mínimo, qualquer fórmula deve considerar o tamanho do efeito e as questões de interesse. E a diferença entre os lados de um ponto de corte é mínima.

Tamanho da amostra como problema de otimização

  • Amostras maiores são melhores.
  • O tamanho da amostra é geralmente determinado por considerações pragmáticas.
  • O tamanho da amostra deve ser visto como uma consideração em um problema de otimização, em que o custo em tempo, dinheiro, esforço e assim por diante na obtenção de participantes adicionais é ponderado contra os benefícios de ter participantes adicionais.

Uma regra geral

Em termos de regras práticas muito rudes no contexto típico de estudos psicológicos observacionais envolvendo coisas como testes de habilidade, escalas de atitude, medidas de personalidade e assim por diante, às vezes penso em:

  • n = 100 como adequado
  • n = 200 tão bom
  • n = 400 + tão bom

Essas regras práticas são baseadas nos intervalos de confiança de 95% associados às correlações nesses níveis respectivos e no grau de precisão que eu gostaria de entender teoricamente as relações de interesse. No entanto, é apenas uma heurística.

G Power 3

Regressão múltipla testa várias hipóteses

  • Qualquer questão de análise de poder requer consideração dos tamanhos dos efeitos.
  • A análise de potência para regressão múltipla é complicada pelo fato de haver vários efeitos, incluindo o quadrado geral r e um para cada coeficiente individual. Além disso, a maioria dos estudos inclui mais de uma regressão múltipla. Para mim, esse é outro motivo para confiar mais nas heurísticas gerais e pensar no tamanho mínimo do efeito que você deseja detectar.

  • Em relação à regressão múltipla, geralmente pensarei mais em termos do grau de precisão na estimativa da matriz de correlação subjacente.

Precisão na estimativa de parâmetros

Também gosto de Ken Kelley e a discussão de colegas sobre Precisão na estimativa de parâmetros.

  • Veja o site de Ken Kelley para publicações
  • Como mencionado por @Dmitrij, Kelley e Maxwell (2003), o PDF GRÁTIS tem um artigo útil.
  • Ken Kelley desenvolveu o MBESSpacote em R para realizar análises relacionadas ao tamanho da amostra e à precisão na estimativa de parâmetros.
Jeromy Anglim
fonte
17

Não prefiro pensar nisso como uma questão de poder, mas faça a pergunta "quão grande deve ser para que o aparente possa ser confiável"? Uma maneira de abordar isso é considerar a razão ou diferença entre e , sendo este último o ajustado dado por e formando uma estimativa mais imparcial de "verdadeiro" .nR2R2Radj2R21(1R2)n1np1R2

Algum código R pode ser usado para resolver o fator de que deve ser tal que seja apenas um fator menor que ou seja menor que . pn1Radj2kR2k

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

insira a descrição da imagem aqui Legenda: Degradação em que atinge uma queda relativa de para por um fator relativo indicado (painel esquerdo, 3 fatores) ou diferença absoluta (painel direito, 6 decrementos).R2R2Radj2

Se alguém já viu isso já impresso, informe-me.

Frank Harrell
fonte
11
+1. Eu suspeito que estou perdendo algo bastante fundamental e óbvio, mas por que devemos usar a capacidade de para estimar como critério? Já temos acesso a , mesmo que seja baixo. Existe uma maneira de explicar por que essa é a maneira correta de pensar sobre o minimamente adequado fora do fato de que faz com uma estimativa melhor de ? R^2R2Radj2NNR^2R2
gung - Restabelece Monica
@FrankHarrell: veja aqui, o autor parece estar usando os gráficos 260-263 da mesma maneira que os do seu post acima.
User603 15/05
5
Obrigado pela referência. @gung essa é uma boa pergunta. Uma resposta (fraca) é que em alguns tipos de modelos não temos um e também não temos um índice ajustado se alguma seleção de variável foi feita. Mas a idéia principal é que, se é imparcial, é provável que outros índices de discriminação preditiva, como medidas de correlação de classificação, também sejam imparciais devido à adequação do tamanho da amostra e ao excesso de ajuste mínimo. R 2Radj2R2
precisa
12

(+1) para de fato uma pergunta crucial, na minha opinião,.

Na macroeconomia, você geralmente tem tamanhos de amostra muito menores do que em experimentos micro, financeiros ou sociológicos. Um pesquisador se sente muito bem quando pode fornecer estimativas pelo menos viáveis. Minha regra pessoal menos possível é ( graus de liberdade em um parâmetro estimado). Em outros campos de estudos aplicados, geralmente você tem mais sorte com os dados (se não for muito caro, basta coletar mais pontos de dados) e pode perguntar qual é o tamanho ideal de uma amostra (e não apenas o valor mínimo para isso). A última questão vem do fato de que mais dados de baixa qualidade (barulhentos) não são melhores do que uma amostra menor de dados de alta qualidade.quatro4m4

A maioria dos tamanhos de amostra está vinculada ao poder dos testes para a hipótese que você testará após ajustar o modelo de regressão múltipla.

Há uma boa calculadora que pode ser útil para vários modelos de regressão e alguma fórmula nos bastidores. Penso que uma calculadora desse priorado poderia ser facilmente aplicada por não estatísticos.

Provavelmente, o artigo de K.Kelley e SEMaxwell pode ser útil para responder a outras perguntas, mas primeiro preciso de mais tempo para estudar o problema.

Dmitrij Celov
fonte
11

Sua regra geral não é particularmente boa se for muito grande. Tome : sua regra diz que não há problema em ajustar variáveis ​​com apenas observações. Eu dificilmente penso assim!mm=500500600

Para regressão múltipla, você tem alguma teoria para sugerir um tamanho mínimo de amostra. Se você usará mínimos quadrados comuns, uma das suposições necessárias é que os "resíduos verdadeiros" sejam independentes. Agora, quando você ajusta um modelo de mínimos quadrados a variáveis, está impondo restrições lineares em seus resíduos empíricos (dados pelos mínimos quadrados ou equações "normais"). Isso implica que os resíduos empíricos não são independentes - uma vez que conhecemos o deles, o restante pode ser deduzido, onde é o tamanho da amostra. Portanto, temos uma violação dessa suposição. Agora a ordem da dependência é . Portanto, se você escolhermm+1nm1m+1nO(m+1n)n=k(m+1) para algum número , então a ordem é dada por . Portanto, ao escolher , você está escolhendo quanta dependência deseja tolerar. Escolho da mesma maneira que você aplica para aplicar o "teorema do limite central" - é bom, e temos a regra "estatísticas de contagem" (ou seja, o sistema de contagem do estatístico é ).kkk10-20301,2,...,26,27,28,29,O(1k)kk1020301,2,,26,27,28,29,

probabilityislogic
fonte
Você diz que 10 a 20 é bom, mas isso também depende do tamanho da variação do erro (possivelmente em relação a outras coisas)? Por exemplo, suponha que houvesse apenas uma variável preditora. Se se soubesse que a variação do erro era realmente pequena, parece que 3 ou 4 pontos de dados podem ser suficientes para estimar com segurança a inclinação e a interceptação. Por outro lado, se soubesse que a variação de erro era enorme, mesmo 50 pontos de dados podem ser inadequados. Estou entendendo mal alguma coisa?
mark999
Você poderia fornecer alguma referência para sua equação sugerida n=k(m+1)?
Sosi 12/10
6

Em Psicologia:

Green (1991) indica que (onde m é o número de variáveis ​​independentes) é necessário para testar correlação múltipla e para testar preditores individuais.N > 104 + mN>50+8mN>104+m

Outras regras que podem ser usadas são ...

Harris (1985) diz que o número de participantes deve exceder o número de preditores em pelo menos .50

Van Voorhis & Morgan (2007) ( pdf ) usando 6 ou mais preditores, o mínimo absoluto de participantes deve ser . Embora seja melhor optar por participantes por variável.301030

adria
fonte
11
Sua primeira 'regra' não tem m nela.
Dason 26/09/14
Sua primeira regra de ouro é escrito como N = 50 + 8 m, apesar de ter sido questionado se o termo 50 é realmente necessário
Sosi
Eu adicionei uma regra prática nova e mais complexa que leva em consideração o tamanho do efeito da amostra. Isso também foi apresentado por Green (1991).
Sosi 12/10
2
Quais são as citações completas para as referências Green (1991) e Harris (1985)?
26515 Hatshepsut
2

Concordo que as calculadoras de potência são úteis, especialmente para ver o efeito de diferentes fatores sobre a potência. Nesse sentido, calculadoras que incluem mais informações de entrada são muito melhores. Para regressão linear, eu gosto da calculadora de regressão aqui, que inclui fatores como erro em Xs, correlação entre Xs e muito mais.

Galit Shmueli
fonte
0

Descobri este artigo bastante recente (2015) avaliando que apenas 2 observações por variável são suficientes, desde que nosso interesse esteja na precisão dos coeficientes de regressão estimados e erros padrão (e na cobertura empírica dos intervalos de confiança resultantes) e use o ajustado :R2

( pdf )

Obviamente, como também reconhecido pelo artigo, a imparcialidade (relativa) não implica necessariamente ter poder estatístico suficiente. No entanto, os cálculos de potência e tamanho da amostra geralmente são feitos especificando os efeitos esperados; no caso de regressão múltipla, isso implica uma hipótese sobre o valor dos coeficientes de regressão ou sobre a matriz de correlação entre os regressores e o resultado. Na prática, depende da força da correlação dos regressores com o resultado e entre si (obviamente, quanto mais forte melhor para a correlação com o resultado, enquanto as coisas pioram com a multicolinearidade). Por exemplo, no caso extremo de duas variáveis ​​perfeitamente colineares, não é possível executar a regressão, independentemente do número de observações, e mesmo com apenas duas covariáveis.

Federico Tedeschi
fonte