Fundo:
Meu software solicita aos usuários doações opcionais de qualquer valor. Divido as solicitações de doação de teste entre os usuários para encontrar a melhor maneira de perguntar: 50% obtêm a versão 1 da solicitação, 50% obtêm a versão 2 da solicitação e vemos qual deles se sai melhor.
Quase todos os usuários dão US $ 0, mas alguns doam. Os resultados podem ser assim:
Number of users Number of donations Dollar amounts donated
GROUP A 10,000 10 40,20,20,20,15,10,10,5,5,5
GROUP B 10,000 15 50,20,10,10,10,10,10,10,5,5,5,5,5,5,5
Quero saber se um grupo é vencedor, ou se é um empate, ou se precisamos de uma amostra maior para ter certeza. (Este exemplo, mantido simples para discussão, quase certamente precisa de uma amostra maior para obter resultados significativos.)
O que eu já meço:
- Um grupo teve um número significativamente maior de doações? Quanto maior? Eu medi esse valor de p e o intervalo de confiança usando a ferramenta ABBA Thumbtack , usando apenas o número de doações e o número de usuários, ignorando os valores em dólares. Sua metodologia é descrita em "Quais são as estatísticas subjacentes?" seção desse link. (Está acima da minha cabeça, mas acredito que calcula o intervalo de confiança considerando a diferença entre as taxas de doação como variáveis aleatórias normais no intervalo Agresti-Couli.)
- Um grupo doou uma quantidade significativamente diferente de dinheiro total ? Eu medi esse valor de p executando um teste de permutação: reordenando repetidamente todos os indivíduos 2N em 2 grupos de sujeitos N, medindo a diferença de dinheiro total entre os grupos a cada vez e encontrando a proporção de embaralhamento com uma diferença> = o observado diferença. (Eu acredito que isso é válido com base neste vídeo da Khan Academy, fazendo a mesma coisa com crackers em vez de dólares.)
Wilcox.test de R:
Algumas perguntas agora sobre wilcox.test()
no R:
- Se eu fornecesse
wilcox.test(paired=FALSE)
a tabela de dados acima, ela responderia a novas perguntas ainda não respondidas pelas minhas ferramentas acima, fornecendo mais informações para decidir se continuaria executando meu teste / declararia um vencedor / declararia um empate? - Se sim, que pergunta exata ela responderia?
r
p-value
wilcoxon-mann-whitney
permutation-test
ab-test
Michael Gundlach
fonte
fonte
Respostas:
wilcox.test()
paired
R
FALSE
Isso não me parece um bom ajuste para seus objetivos. Você deseja o dinheiro total, que pode ser entendido como a maior doação média vezes o número de usuários. É possível, devido à inclinação, que uma versão possa ter a maior média / total, mas que a outra versão seja estocástica maior. (Se fosse esse o caso, você desejaria a versão anterior.) Como é isso que você deseja, um teste específico para esse aspecto das distribuições é mais apropriado para você.
R
R
prop.test()
fonte
b <- function(n) dbinom(0:n, n, 1/2); p <- apply(expand.grid(b(1), b(1), b(4), b(6), b(10)), 1, prod); n <- as.matrix(expand.grid(0:1, 0:1, 0:4, 0:6, 0:10)) %*% c(50,40,20,10,5); plot(dist <- aggregate(p, list(n), sum))
.A resposta de @ gung está correta. Mas eu acrescentaria que, como seus dados podem estar distorcidos, com uma enorme cauda direita, a média pode não ser robusta e, como tal, pode não ser o índice "certo" para representar a centralidade da sua distribuição. Por isso, tentaria também soluções mais robustas, como medianas ou meios truncados.
fonte