Como ter um teste beta de sucesso com uma equipe pequena?

Eu fiz muito trabalho (pro-bono) em um patch para um jogo comercial de ~ 11 anos atrás que precisa de alguns testes beta. Muita gente está esperando por isso.

Quais são algumas maneiras de obter um bom feedback (com isso quero dizer útil) durante a fase de teste beta de um jogo? Eu tenho muitas pessoas que querem brincar com isso, mas estou preocupado em receber um bom feedback sem ficar atolado no desenvolvimento. Também estou preocupado que as pessoas estejam mais preocupadas em adicionar os ajustes que desejam ver ao patch do que realmente testar o trabalho que foi feito.

• Você fornece a capacidade de registrar bugs diretamente em um rastreador de bugs ou enviá-los todos para uma pessoa da equipe de desenvolvimento?
• Como você garante que você cobre todas as plataformas suportadas (no meu caso: Mac OSX (x86 / ppc), Windows (várias versões), Linux (várias versões)?

Existem bons pacotes de software (como um portal da web) para executar um teste beta para um projeto como este? Algum bom documento por aí com dicas?

Eu sugeriria fortemente ter uma opção de arquivamento de bugs no jogo, de preferência um botão grande que diz "FILE BUG HERE". Os jogadores que estão envolvidos, especialmente se o seu jogo é realmente bom, nunca vão se lembrar de bugs que ocorreram se precisarem sair do mecanismo para arquivá-los. Você pode fazer com que eles acessem o rastreador de erros ou apenas enviá-lo por e-mail para um endereço de titular. O objetivo principal é facilitar o arquivamento de itens, embora isso possa não ser possível para um jogo de 11 anos. Nesse caso, eu daria suporte ao email direto e ao link de um site, e talvez force os testadores a passar por um front end trivial que expõe um botão "arquivar um bug" para que lembrem que ele existe.

Uma boa maneira de fazer isso seria expor semi-publicamente o próprio software de rastreamento de bugs. A maioria dos softwares de rastreamento de bugs (o Trac é bom e gratuito, se você ainda não tiver um configurado) já possui um bom front-end da web e você pode abri-lo diretamente para todos na versão beta. Dessa forma, seus testadores beta podem fazer o controle de qualidade literalmente por você.

Para obter cobertura da plataforma, tente acessar diretamente essas comunidades. Não deixe de discutir sua versão beta em fóruns focados em PC, mac e linux. Dessa forma, você receberá alguns de cada grupo. Você deve pedir aos jogadores que especifiquem quais plataformas eles também têm disponíveis no aplicativo beta.

Por fim, considere enviar periodicamente algum tipo de e-mail de "status do teste". Algo como "Ei, acabamos de mudar o equilíbrio das armas, vocês podem se concentrar nos níveis 4-7 de hoje? Os níveis 8-10 ainda estão sendo elaborados e serão um pouco melhores na próxima semana". Qualquer coisa que você possa fazer para focar no processo de teste funcionará a seu favor.

No que diz respeito à obtenção de boas informações quantitativas, se você tiver tempo de desenvolvimento, adicione o máximo de registro possível.

• Qual% de seus testadores beta já voltou?
• Quanto tempo durou a sessão de jogo (mais longa, média)?
• Onde eles pararam de jogar (qual foi a última ação registrada)
• Qual% das pessoas encontrou o novo conteúdo?

etc

Quanto à coleta de dados, ( http://docs.google.com ) possui uma ferramenta de pesquisa bastante fácil de usar - basta usar o item de menu Formulário-> Criar um formulário.

Se você estiver usando o Flash ou o Silverlight, recomendo a integração do Google Analytics ou algo semelhante. Usando o Analytics, é fácil instrumentar seu jogo e medir coisas como tempo de jogo, onde os jogadores estão saindo etc.

Além disso, eu recomendaria usar um serviço como as "Primeiras Impressões" da Flash Game License ou apenas ir diretamente ao Mechanical Turk da Amazon. Descobri que por US $ 1 você pode solicitar que um jogador experimente o jogo por alguns minutos e forneça feedback em várias categorias. Se você usa o Mechanical Turk, pode criar seu próprio formulário e fazer as perguntas de seu interesse.

Se você combinar os dois métodos, poderá obter muitas informações por preços relativamente baratos. É claro que você sabe o que deseja medir antes de começar a gastar dinheiro. Por fim, ouvi dizer que algumas pessoas lançam seus jogos em um portal como o Newgrounds usando um apelido e, em seguida, usam o Analytics e um formulário interno para coletar feedback dos jogadores.