Estimando o sucesso comparativo de diferentes brochuras

O problema do mundo real

Um dos meus clientes está se preparando para enviar uma mala direta para sua lista de usuários inscritos, e esse desafio estatístico surgiu.

Sua equipe de marketing possui três brochuras diferentes e deseja saber qual brochura obtém a maior taxa de resposta. Eles também gostariam de saber se o envio da mala direta com um endereço escrito à mão, em um envelope grosso, melhora os resultados em comparação com um envelope normal.

Vamos assumir o seguinte:

Para cada brochura ( ), uma pessoa que recebe a brochura que realmente a abre e lê, responde com probabilidade , em que é a verdadeira taxa de resposta dessa brochura $b_i$ $i = 1,2,3$ $r_i$ $r_i$
Os envelopes espessos e de alta qualidade têm uma taxa de abertura real de enquanto os envelopes normais têm uma taxa de abertura de $o_{thick}$ $o_{normal}$
De correspondências anteriores, esperamos que as taxas reais de resposta observadas estejam entre aproximadamente 1% e 5%.

Nossos Objetivos

Queremos encontrar a melhor brochura enquanto enviamos o menor número de malas diretas. Também queremos estimar as duas taxas de abertura.

Ao coletar taxas de resposta empírica de remetentes enviados reais, se a verdadeira diferença entre as taxas de resposta for maior que meio por cento, poderemos detectar essa diferença como estatisticamente significativa com $r_i$ $p < .05$

Meus pensamentos até agora

Atribuímos usuários aleatoriamente a cada uma das três brochuras, de forma que usuários recebam cada brochura. Queremos saber o que precisamos para alcançar a sensibilidade desejada na detecção de diferenças nas taxas de resposta. Supondo o pior caso, precisamos ser capazes de detectar uma diferença entre taxas verdadeiras de 1% e 1,5%. O SD para essa diferença é . Definir duas vezes essa quantidade (2 desvios-padrão nos dá 95% de confiança) igual a 0,005 (nossa metade desejada) leva à solução . $N$ $N$ $\sqrt{\frac{(.01*.99) + (.015*.985)}{N}}$ $N = 3948$

Questões

Esse é o design ideal ou podemos fazer melhor?
Meu cálculo de correto? $N$

Finalmente, qual é a melhor maneira de estimar e , ou simplesmente a diferença entre os dois? $o_{normal}$ $o_{thick}$

Minha idéia era atribuir aleatoriamente metade de cada grupo de folhetos a cada tipo de envelope. Dentro de cada grupo de folhetos, as taxas de resposta observadas seriam o produto das taxas de abertura e do . Isso complicaria meu cálculo de acima, pois realmente eu deveria ter usado esse produto no meu cálculo. $r_i$ $N$

Minha resposta dependeria então de uma estimativa da taxa média de abertura - - que eu teria que adivinhar. Além disso, não sei como determinar a distribuição da diferença entre e , já que agora temos três estimativas diferentes dessa diferença, cada uma das quais depende de um diferente , cada uma das quais temos apenas estimativas empíricas de, estimativas empíricas que dependem do nosso palpite à taxa média aberta. $\frac{o_{normal} + o_{thick}}{2}$ $o_{normal}$ $o_{thick}$ $r_i$

Muito obrigado por qualquer ajuda com isso.

hypothesis-testing anova statistical-significance Jonah
fonte

Aqui está um experimento mental a ser considerado antes de ir muito além: suponha dois cenários, A e B. No cenário A, cada destinatário recebe seu correio, abre-o e depois vira uma moeda com probabilidade para decidir se deve responder. No cenário B, seus destinatários examinam as mensagens que recebem, uma moeda com probabilidade e abrem as mensagens, se aparecerem; eles respondem ansiosamente a todas as ofertas contidas no e-mail que abrem e descartam qualquer e-mail que não abrem.

r_{i}

$r_i$

r_{i}

$r_i$

cardeal

ei, cardeal, meu pensamento é que o modelo mais preciso é na verdade um híbrido de A e B. Pense em como você lida com o lixo eletrônico. Pessoalmente, com base no envelope e no carimbo, vou simplesmente jogar fora a maior parte dela. Mas se eu abrir, o marketing interno precisará chamar minha atenção e me convencer. Se pensarmos em nosso mailer como um herói em uma missão, ele deve matar dois dragões independentes para salvar a princesa. E como projetistas de testes, estamos tentando medir a adequação relativa de diferentes heróis na tarefa de matar esses dois dragões diferentes.

Jonah

Concordo que as pessoas geralmente não agem tão extremas, mas o objetivo de introduzir os cenários foi provocar um pouco de reflexão sobre o que pode e não pode ser estimado a partir de seus dados (sem introduzir suposições adicionais implícitas e potencialmente bastante fortes). Em um cenário, a taxa de resposta observada vem inteiramente de uma decisão de resposta aleatória, enquanto no segundo ela vem inteiramente de uma decisão de abertura de correio aleatória!

cardeal

Bem, acho que o modelo mais simples sugerido por seu experimento mental leva a um problema muito mais fácil de resolver. Posso simplesmente pensar em testar 6 cenários (cada envelope com cada folheto) e testar as diferenças usando um método semelhante ao da seção "Meus pensamentos ...". Mas suspeito que isso levará ao envio de mais malas diretas do que uma solução para o modelo mais complexo de duas camadas. O problema é que eu não sei o que distribuição que de duas camadas modelo dá origem a, então eu não sei como testá-lo - daí o post :)

Jonah

Estimando o sucesso comparativo de diferentes brochuras

O problema do mundo real

Nossos Objetivos

Meus pensamentos até agora

Questões

Respostas: