Para minha tese, criei uma abordagem de desenvolvimento (que consiste em esquemas, um modelo de aplicativo e código de protótipo) que deve facilitar o desenvolvimento e a adaptação de aplicativos para uma plataforma específica.
Eu conduzi entrevistas com desenvolvedores dessa plataforma para avaliar minha abordagem. Até agora, houve cinco entrevistados e o feedback que recebi deles é suficiente para o meu escopo, eu diria.
No entanto, na minha tese, gostaria de justificar minha decisão de que 5 avaliadores são suficientes. Existe alguma pesquisa ou artigo científico que sugira um certo número de avaliadores para uma abordagem tão teórica?
Conheço o trabalho da Nielsen sobre a avaliação da usabilidade heurística, que diz que, com 5 participantes, você descobre cerca de 75% de todos os problemas em usabilidade de software / testes de interface do usuário .
Mas, como eu disse, minha abordagem não é um produto de software específico que precise ser avaliado, mas apenas o modelo em si, e é por isso que estou procurando pesquisas nessa área.
Respostas:
"Existe alguma pesquisa ou artigo científico que sugira um certo número de avaliadores para uma abordagem tão teórica?"
Existe um método estatístico para calcular o tamanho correto da amostra para um experimento.
Este método é chamado de "análise de potência" [1]. Ele calcula o tamanho mínimo da amostra necessário para verificar se os resultados de um experimento são estatisticamente significativos. Essa abordagem pressupõe que você tenha pelo menos dois grupos. Um grupo de controle e um grupo experimental (ou seja, o grupo de controle usa a plataforma sem suas modificações, o grupo experimental usa a plataforma com suas modificações).
Assim, embora exista um processo científico para calcular o tamanho correto da amostra, essa abordagem provavelmente é um exagero para o seu estudo. Nielsen [2] afirma que a avaliação heurística é apenas um método "barato e rápido" para facilitar a avaliação. Como tal, acredito que você pode justificar um tamanho de amostra de 5 citando Nielsen. No entanto, se você deseja padronizar seu processo de avaliação e usar uma abordagem estatística, encorajo você a analisar a análise de poder.
Você pode estar interessado nesta ferramenta on - line para calcular a potência .
fonte