Por que os regressores irrelevantes se tornam estatisticamente significativos em amostras grandes?

8

Estou tentando entender melhor a significância estatística, os tamanhos dos efeitos e similares.

Tenho uma percepção (talvez errada) de que mesmo regressores irrelevantes geralmente se tornam estatisticamente significativos em grandes amostras . Por irrelevante, quero dizer que não há explicação no assunto por que o regressor deve estar relacionado à variável dependente. Portanto, a irrelevância neste post é um conceito puro de assunto e não estatístico.

Eu sei que um regressor será estatisticamente significativo, dada uma amostra suficientemente grande, a menos que o efeito populacional seja exatamente zero (como discutido aqui ). Portanto, um regressor irrelevante que parece estatisticamente significativo em uma amostra grande tem um tamanho de efeito diferente de zero na população.

Questões:

  1. Como é que um regressor irrelevante é estatisticamente significativo?
  2. Devo procurar uma explicação do assunto (ou seja, tentar negar a irrelevância) ou isso é um fenômeno estatístico?

Esta é uma continuação de um post em que eu estava tentando esclarecer como curar esse efeito. Enquanto isso, aqui estou perguntando por que isso acontece em primeiro lugar.

Richard Hardy
fonte
Isso ainda parece duplicar sua postagem anterior, que já havia sido respondida. Uma resposta para a duplicata desse post afirma que "os valores-p são arbitrários, na medida em que você pode torná-los tão pequenos quanto desejar, reunindo dados suficientes". Esse endereço não é o número 1 e o número 2?
whuber
1
Obrigado @whuber. Eu estava tentando deixar claro que esta postagem aborda uma pergunta nova e diferente. Eu já entendo o que acontece se realmente houver um efeito na população (o tópico do outro post e o antigo duplicado). Minhas perguntas aqui são: (i) é a razão da significância estatística frequente de regressores aparentemente irrelevantes sempre iguais, isto é, que realmente existe um efeito populacional; (ii) se não, quais são as razões alternativas; (iii) se sim, então os efeitos na população são mais frequentemente devidos ao assunto ou ao acaso. Espero que isso torne mais claro.
Richard Hardy

Respostas:

9

Questões:

Como um regressor irrelevante é estatisticamente significativo?

Eu acho que é útil pensar no que acontece quando o tamanho da sua amostra se aproxima da própria população. O teste de significância visa fornecer uma idéia da inexistência de um efeito na população. Essa é a razão pela qual, ao trabalhar com dados do censo (que pesquisa a população), o teste de significância não faz sentido (porque, para o que você está tentando generalizar?).

Com isso em mente, o que significa "efeito na população"? Significa simplesmente qualquer relação entre variáveis ​​na população, independentemente de quão pequena (seja uma diferença de 1 ponto ou 1 pessoa), mesmo que essa relação seja devida ao acaso e à aleatoriedade no universo.

Assim, à medida que sua amostra se aproxima do tamanho da população, os testes de significância se tornam cada vez menos significativos, pois qualquer diferença será "estatisticamente significativa". O que você mais se interessaria então é o tamanho do efeito - que é análogo a "praticamente significativo".

Devo procurar uma explicação do assunto (por exemplo, tentar negar a irrelevância) ou isso é um fenômeno estatístico?

É um fenômeno - você deve observar os tamanhos dos efeitos.

QxV
fonte
Você mencionou algo que eu estava procurando intuitivamente, mas não havia formulado com sucesso. O efeito na população pode ser qualquer relação entre variáveis ​​na população, independentemente de quão pequena (seja uma diferença de 1 ponto ou 1 pessoa), mesmo que essa relação seja devida ao acaso e à aleatoriedade no universo. Se esses efeitos são devidos ao acaso, não preciso procurar nenhuma explicação sobre o assunto. Obrigado!
Richard Hardy
A propósito, seu argumento faz sentido intuitivamente nos casos em que se está testando, por exemplo, igualdade de meios ou se o efeito do tratamento é exatamente zero. Mas e o significado dos regressores em uma regressão múltipla? Você poderia, talvez, expor seu argumento em um contexto de regressão para que eu pudesse segui-lo mais prontamente?
Richard Hardy
1
Hum, acho que a analogia é diretamente relevante. Por exemplo, se você imagina que o consumo de chocolate não afeta a expectativa de vida, depois de ajustar as variáveis ​​de controle, como quantidade de exercício, etc., mas uma pessoa na população de 6 bilhões de pessoas passa a ser uma exceção, haverá uma população " efeito "do consumo de chocolate na expectativa de vida, mas o tamanho do efeito será minúsculo. Espero que esse exemplo tenha sido útil, mas tive problemas para pensar em como um coeficiente de regressão seria diferente de qualquer outro parâmetro.
QxV
3
Estou um pouco confuso sobre o porquê de o teste de significância não ter sentido se você provar toda a "população" (se por população você quer dizer a população real). Se eu quiser testar algo sobre as pessoas e minha amostra for de 7 bilhões de pessoas, certamente ainda posso executar um teste de significância e ele pode rejeitar ou deixar de rejeitar a hipótese nula. Não vejo por que deveria ser conceitualmente sem sentido. A "generalização" que você mencionou pode se referir, por exemplo, às gerações futuras ou algo assim. (CC @Richard.)
ameba
1
@amoeba: Acho que o teste de significância estatística só faz sentido para uma amostra, não para uma população. Depois de observarmos toda a população, todo o nosso conhecimento é perfeito: não há incerteza na estimativa de parâmetros ou algo parecido. Podemos medir exatamente qualquer relacionamento. (Isso não significa que teremos uma explicação perfeita do assunto para todos os relacionamentos, mas isso está além do ponto.) Enquanto isso, se você generalizar para as gerações futuras, isso implicitamente torna a população atual apenas uma amostra do {atual + futuro} população. O teste de significância estatística está de volta ao jogo.
Richard Hardy
2

Mesmo que o tamanho da amostra não se aproxime da sua população, efeitos minúsculos se tornam significativos em amostras grandes. Isso é consequência do significado da estatística:

Se, na população da qual essa amostra foi coletada, a hipótese nula era verdadeira, é (XX%) provável que obteríamos uma estatística de teste pelo menos tão grande em uma amostra do tamanho que temos?

Se sua pergunta é sobre todas as pessoas na Terra, se você coletar uma amostra de 1.000.000 (não é quase 7.000.000.000), até efeitos muito pequenos serão significativos, porque é muito improvável encontrar essas estatísticas de teste em grandes amostras quando o nulo for verdadeiro .

Existem muitos problemas com testes de significância, discutidos em muitos lugares. Este é um deles. A "cura" é observar os tamanhos dos efeitos e os intervalos de confiança.

Peter Flom
fonte
1
Obrigado! Acho que entendo o mecanismo de como esses pequenos efeitos se tornam estatisticamente significativos, dada uma amostra suficientemente grande. A questão central é: por que esses pequenos efeitos estão presentes na população? Eles acontecem principalmente devido à "aleatoriedade no universo"? Ou eles representam algumas relações reais com o assunto (não devido ao acaso) que tendemos a negligenciar quando pensamos sobre elas do ponto de vista do assunto?
Richard Hardy
4
Eu diria o último.
precisa saber é o seguinte
@BenBolker Você poderia fornecer algum raciocínio? Isso pode ser muito útil.
Richard Hardy
3
Eu concordo com o Ben. Quase duas variáveis ​​estão relacionadas em algum grau; e os que aderimos aos modelos têm muito mais probabilidade de estar relacionados. Nós não (e não devemos) simplesmente jogar lixo nos modelos.
Peter Flom
2

Peguei emprestado algumas dicas do @QxV para fornecer uma explicação da presença de um efeito populacional, mesmo que o conhecimento do assunto não sugira esse efeito.

Suponha que exista um processo de geração de população (PGP) que gere populações com características e . A fórmula PGP é tal que e são independentes até um termo de erro aleatório. Precisamente devido a este termo de erro aleatório, qualquer realização finita e tem probabilidade zero de não correlação exata, ou seja, . Nesse caso, com probabilidade 1, há um efeito populacional. É assim que os efeitos surgem na população.x y x y r e a l i z e d x r e a l i z e d P ( y r e a l i z e dx r e a l i z e d ) = 0yxyxyrealizedxrealizedP(yrealizedxrealized)=0

Uma vez que exista um efeito populacional, é uma questão de tamanho da amostra quando iremos detectá-lo na amostra e quando ele se tornará estatisticamente significativo.

Richard Hardy
fonte
2

Além das excelentes respostas já postadas, tentarei de outro ponto de vista. Todos os modelos são aproximações, em certo sentido ... Veja um modelo de regressão e alguma variável irrelevante é significativa. O que pode explicar isso?

  1. Talvez não seja irrelevante que o consenso científico atual sobre esse assunto esteja errado . Além disso:

  2. Pode ser um substituto ou substituto para alguma variável omitida que seja relevante e que esteja correlacionada com a variável irrelevante.

  3. Alguma variável relevante, incluída linearmente no modelo, pode estar agindo de forma não linear e sua variável irrelevante pode ser um substituto para essa parte da variável relevante.

  4. Alguma interação entre duas variáveis ​​relevantes é importante, mas não incluída no modelo. Sua variável irrelevante pode ser um substituto para essa interação omitida.

  5. A variável irrelevante poderia ser altamente correlacionada com alguma variável importante, levando a coeficientes correlacionados negativamente. Isso pode ser importante, especialmente se houver erros de medição nessas variáveis.

  6. Pode haver algumas observações com alavancagem muito alta, levando a estimativas estranhas.

Certamente outros ... um ponto importante é que um modelo de regressão linear pode ser uma aproximação muito boa com uma amostra pequena, apenas efeitos grandes serão significativos. Porém, uma amostra maior levará a uma menor variação, mas não poderá reduzir o viés devido a aproximações . Portanto, com amostras maiores, essas inadequações do modelo se tornam manifestas e acabarão dominando a variação.

kjetil b halvorsen
fonte
-1

Não. Os regressores irrelevantes não se tornam estatisticamente significativos à medida que o tamanho da amostra aumenta. Tente o seguinte código em R.

y <- rnorm (10000000)

x <- rnorm (10000000)

resumo (lm (y ~ x))

David
fonte
1
Você repetiu esse código, digamos, 1000 vezes (ou mais) e viu o que acontecerá?
b Kjetil Halvorsen
Você terá uma taxa de falsos positivos de 5%, conforme o esperado. Mas o mesmo é obtido independentemente do tamanho da amostra
David
Veja a minha resposta para um outro ponto de vista
b Kjetil Halvorsen
Entendo sua postagem e, para relacionamentos "tipo de lineares", é verdade (assim como para relações "realmente lineares"). No entanto, ao alterar 10000000 por 10 no meu código, agora você não tem menos probabilidade de obter um falso positivo no teste F
David
Obrigado pela sua resposta! Embora correto por si só, acho que erra o ponto da questão. A questão é motivada pela observação de que geralmente encontramos relacionamentos estatisticamente significativos que não têm explicação sobre o assunto.
Richard Hardy