O "Teorema Sem Almoço Gratuito" se aplica a testes estatísticos gerais?

Uma mulher para quem eu estava trabalhando me pediu para fazer uma ANOVA unidirecional em alguns dados. Respondi que os dados eram dados de medidas repetidas (séries temporais) e que achava que a suposição de independência era violada. Ela respondeu que eu não deveria me preocupar com as suposições, basta fazer o teste e ela levaria em conta que as suposições podem não ter sido atendidas.

Isso não me pareceu certo. Eu fiz algumas pesquisas e achei este maravilhoso post de David Robinson, K-significa clustering não é um almoço grátis , o que me expôs ao Teorema do Não Almoço Gratuito. Eu olhei para o artigo original e alguns seguem coisas, e francamente a matemática está um pouco acima da minha cabeça.

A essência - segundo David Robinson - parece ser que o poder de um teste estatístico deriva de suas suposições. E ele dá dois ótimos exemplos. À medida que passo a percorrer os outros artigos e postagens do blog, parece sempre ser referenciado em termos de aprendizado supervisionado ou pesquisa.

Então, minha pergunta é: esse teorema se aplica a testes estatísticos em geral? Em outras palavras, pode-se dizer que o poder de um teste t ou ANOVA deriva de sua aderência às premissas e citar o Teorema Sem Almoço Gratuito?

Devo ao meu ex-chefe um documento final sobre o trabalho que fiz e gostaria de saber se posso fazer referência ao Teorema do Não Almoço Gratuito, afirmando que você não pode simplesmente ignorar as suposições de um teste estatístico e dizer que você o levará em consideração. conta ao avaliar os resultados.

Não conheço uma prova, mas aposto que isso se aplica de maneira geral. Um exemplo é um experimento com 2 indivíduos em cada um dos 2 grupos de tratamento. O teste de Wilcoxon não pode ser significativo no nível 0,05, mas o teste t pode. Você poderia dizer que seu poder vem mais da metade de suas suposições e não apenas dos dados. Para o seu problema original, não é apropriado proceder como se as observações por sujeito fossem independentes. Levar as coisas em consideração após o fato certamente não é uma boa prática estatística, exceto em circunstâncias muito especiais (por exemplo, estimadores sanduíche de cluster).

Você pode citar o Teorema Sem Almoço Gratuito, se quiser, mas também pode citar o Modus Ponens (também conhecido como Lei do Desapego , a base do raciocínio dedutivo), que é a raiz do Teorema Sem Almoço Gratuito .

O Teorema Sem Almoço Gratuito engloba uma idéia mais específica: o fato de que não há algoritmo capaz de atender a todos os propósitos. Em outras palavras, o Teorema Sem Almoço Gratuito está basicamente dizendo que não existe uma bala mágica algorítmica . Isso se baseia no Modus Ponens, porque, para que um algoritmo ou um teste estatístico dê o resultado correto, você precisa satisfazer as premissas.

Assim como em todos os teoremas matemáticos, se você violar as premissas, o teste estatístico fica sem sentido e você não pode derivar nenhuma verdade disso. Portanto, se você deseja explicar seus dados usando seu teste, deve presumir que as premissas necessárias são atendidas, se não forem (e você sabe disso), seu teste estará totalmente errado.

Isso ocorre porque o raciocínio científico se baseia na dedução: basicamente, seu teste / lei / teorema é uma regra de implicação , que diz que se você tem a premissa A, pode concluir B: A=>Bmas, se não tiver A, poderá ter Bou não B, e ambos os casos são verdadeiros , esse é um dos princípios básicos da inferência / dedução lógica (regra do Modus Ponens). Em outras palavras, se você violar as premissas, o resultado não importa e você não pode deduzir nada .

Lembre-se da tabela binária de implicação:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Então, no seu caso, para simplificar, você tem Dependent_Variables => ANOVA_correct. Agora, se você usar variáveis ​​independentes, assim Dependent_Variablesserá False, a implicação será verdadeira, pois a Dependent_Variablessuposição é violada.

É claro que isso é simplista e, na prática, seu teste ANOVA ainda pode retornar resultados úteis, porque quase sempre existe algum grau de independência entre variáveis ​​dependentes, mas isso dá a você a idéia de por que você simplesmente não pode confiar no teste sem cumprir as premissas. .

No entanto, você também pode usar testes cujas premissas não são satisfeitas pelo original, reduzindo seu problema: relaxando explicitamente a restrição de independência, seu resultado ainda pode ser significativo, mas não garantido (porque seus resultados se aplicam ao problema reduzido, não ao problema completo, para que você não possa traduzir todos os resultados, exceto se puder provar que as restrições adicionais do novo problema não afetam seu teste e, portanto, seus resultados).

Na prática, isso geralmente é usado para modelar dados práticos, usando Naive Bayes, por exemplo, modelando variáveis dependentes (em vez de independentes) usando um modelo que assume variáveis ​​independentes e, surpreendentemente, funciona muitas vezes muito bem e, às vezes, melhor do que modelos de contabilidade para dependências . Você também pode se interessar por esta pergunta sobre como usar o ANOVA quando os dados não atendem exatamente a todas as expectativas .

Para resumir: se você pretende trabalhar com dados práticos e seu objetivo não é provar nenhum resultado científico, mas criar um sistema que funcione (por exemplo, um serviço da Web ou qualquer aplicação prática), a suposição de independência (e talvez outras premissas) pode ser descontraído, mas se você estiver tentando deduzir / provar alguma verdade geral , sempre use testes que matematicamente podem garantir (ou pelo menos com segurança e presunção) que satisfazem todas as premissas .