Teste A / B:
http://20bits.com/articles/statistical-analysis-and-ab-testing/
http://elem.com/~btilly/effective-ab-testing/
Eu não estou muito familiarizado com o teste A / B, mas queria saber se havia algum pacote / biblioteca específica em R ou Python que possa ser usada para executar o teste A / B.
Respostas:
Claro, tanto para python quanto para R, existem alguns pacotes / bibliotecas interessantes e úteis.
Primeiro, para python, eu recomendo a leitura desta resposta StackOverflow direcionada a uma pergunta sobre testes A / B em Python / Django. É uma tese de mestrado de uma página sobre o assunto.
Akoha é um pacote relativamente recente (com pouco mais de um ano de idade) direcionado para o AB Testing no Django. Eu não usei este pacote, mas aparentemente é o pacote Django mais usado desse tipo (com base no número de downloads). Está disponível no bitbucket .
O Django-AB é o outro pacote do Django que eu conheço e o único que eu usei.
Como você esperaria que os Pacotes suportassem uma estrutura da Web, cada um fornece uma microestrutura para instalar, configurar, conduzir e registrar os resultados dos testes AB. Como seria de esperar, os dois funcionam alternando dinamicamente o modelo ( django) (página de esqueleto html) referenciado no arquivo views.py .
Para R, eu recomendo o pacote agricolae , de autoria e manutenção de uma universidade no Peru. disponível no CRAN. Isso faz parte da distribuição principal. (Veja também agridat , que é composto de conjuntos de dados muito úteis dos testes AB e multivariados concluídos).
Tanto quanto sei, e já me referi à documentação agrícola muitas vezes, aplicativos ou sites da Web nunca são mencionados como o assunto de teste / analítico. Pelo nome do pacote, você pode dizer que o domínio é agricultura, mas a analogia com os testes na Web é quase perfeita. Este pacote complementa bem os dois pacotes do Django, porque as agricolas são direcionadas ao início (design do teste e estabelecimento de critério de sucesso / término) e final (análise dos resultados) do fluxo de trabalho do Teste AB.
fonte
Dependendo da abordagem que você deseja adotar, o abaixo oferece duas alternativas. O primeiro é o teste qui-quadrado tradicional para testes divididos e o segundo é uma abordagem bayesiana para testes divididos. Dependendo dos requisitos de seus stakeholders organizacionais para a análise, você também pode fazer os dois se tiver os dados.
Teste Qui-quadrado (tradicional) Teste A / B com Python: http://okomestudio.net/biboroku/?p=2375
Teste Bayesian A / B com Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html
fonte