Eu uso um processo de par, para capturar conversas naturais.
Depois de fornecer aos seus participantes um questionário para obter um plano de fundo, coloque-os na frente de uma máquina em um ambiente natural de escritório e dê-lhes uma tarefa para executar. Meu trabalho abrange ferramentas de programação, para que os sujeitos façam a programação em pares, mas a abordagem em pares também pode funcionar para outros programas. A vantagem de usar pares é que eles se perguntam e tentam elaborar as instruções juntos.
O uso de pares é mais natural do que a abordagem comum "pense em voz alta", na qual você diz aos sujeitos para dizerem o que estão pensando. O problema dessa abordagem é que você não capturará tão facilmente a metáfora que os sujeitos usam, o que lhe dá uma visão do pensamento deles. Por exemplo, para uma ferramenta de compilação, "Oh, por que está mostrando isso?", "Hmm, acho que é como quando você está encontrando uma correspondência, mas entra no diretório errado?" O truque é que, quando os sujeitos tiverem que explicar sua confusão, terão um bom motivo para fazer um esforço honesto.
Uso o Camtasia com microfones para capturar o que está na tela e o que eles dizem. Em seguida, transcrevo a sessão e faço anotações com ações específicas que aconteceram na tela. [Camtasia é da TechSmith, fabricante de Morae.] Você pode usar uma câmera para capturar os assuntos e ver onde eles apontam os dedos. Examinar as transcrições é muito mais útil quando você está tentando escrever qual pode ser o resultado. [Além disso: o próprio processo de redação é útil para que você faça as perguntas certas, mesmo que não queira publicar seus resultados.]
Depois de executar a tarefa, peça que descrevam sua experiência, para o que acham que usariam o programa, do que gostaram e do que gostariam que melhorassem. Obter esse feedback não é necessariamente para que você use as sugestões literais para implementá-las. Em vez disso, observe mais profundamente quais eram suas expectativas e se elas estavam conceituando o programa de maneira diferente do que você pretendia; novamente, para ver quais metáforas eles usaram.
Além disso, observe o desempenho da tarefa em si. Eles realizaram o que deveriam? Com base em qual programa você está testando, convém determinar quanto tempo as tarefas específicas levaram.
Comece com um teste piloto com o que você acredita ser uma tarefa muito básica. Você ficaria surpreso ao descobrir que mesmo as tarefas simples levarão mais tempo do que você pensava. Até agora, usei o que ganhei para alterar a sintaxe da minha ferramenta e ajustar alguns recursos aqui e ali. Mas os maiores ganhos que encontrei estão em como escrevo o tutorial e enquadro a ferramenta.