Eu queria saber quais são os critérios para usar Kolmogorov-Smirnov, Cramer-von-Mises e Anderson-Darling ao comparar 2 ECDFS. Conheço a matemática de como cada um difere, mas se eu tiver alguns dados do ECDF, como saberia qual teste é apropriado usar?
Para resumir uma longa história: o teste de Anderson-Darling é considerado mais poderoso que o teste de Kolmogorov-Smirnov.
Dê uma olhada neste artigo comparando vários testes (de normalidade, mas os resultados são válidos para comparar duas distribuições) . Comparações de potência de Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors e Anderson-Darling Tests por Nornadiah Mohd Razali e Yap Bee Wah.
O teste de Anderson-Darling é muito mais sensível às caudas da distribuição, enquanto o teste de Kolmogorov-Smirnov está mais consciente do centro de distribuição.
Para resumir, eu recomendaria que você usasse o teste Anderson-Darling ou, eventualmente, Cramer-von Misses, para obter um teste muito mais poderoso.
Cada um dos três testes tem melhor poder contra diferentes alternativas; mas, por outro lado, os três apresentam graus variados de viés de teste em algumas situações.
De um modo geral, o teste de Anderson-Darling tem melhor poder contra caudas mais gordas do que o especificado e o Kolmogorov-Smirnov tem mais poder contra desvios no meio, com Cramer-von Mises entre os dois, mas um pouco mais parecido com o Kolmogorov-Smirnov. respeito.
Os tipos de alternativas que muitas pessoas consideram interessantes tendem a ser escolhidos com mais frequência pelo teste de Anderson-Darling e Cramer-von Mises, mas suas necessidades específicas podem ser diferentes.
O Anderson-Darling tende a sofrer piores problemas de viés em geral (para testes de hipóteses, viés significa que existem algumas alternativas que você tem menos probabilidade de rejeitar do que o nulo - o que não é o que você deseja de um teste de ajuste de qualidade omnibus - - mas parece difícil evitar em situações realistas).
Vários estudos de potência foram realizados, incluindo uma variedade de testes de qualidade de ajuste; geralmente para as alternativas que eles consideram, o Anderson-Darling tende a sair melhor com mais frequência - mas se você está testando a uniformidade e tentando buscar, digamos uma alternativa beta (2,2), nenhum deles se sai bem, e o Anderson Darling é o pior.
fonte