Quais são os bons requisitos para um engenheiro de controle de qualidade? [fechadas]

9

Estamos contratando uma pessoa de controle de qualidade e devo apresentar algumas perguntas da entrevista. A verdade é que não sei muito sobre o que um bom engenheiro de controle de qualidade deve saber, muito menos sobre o que as boas perguntas da entrevista podem envolver. Alguém tem sugestões?

Algumas informações: O ambiente é dois aplicativos Web separados (mas entrelaçados) para a pilha da Microsoft (ASP.NET, SQL Server, IIS).

kelloti
fonte

Respostas:

9

A menos que você tenha muita experiência trabalhando com testadores, leia os primeiros capítulos do "Testing Computer Software" da Cem Kaner para ter uma idéia dos tipos de termos que deseja ouvir: teste de limite, teste de erro, teste do caminho feliz, funcional, desempenho, segurança, integração etc. Se você não conseguir falar o idioma, não poderá realizar uma boa entrevista.

Especifique-os para um pequeno pedaço do seu sistema. Peça a eles para testá-lo. Você está procurando uma organização do pensamento e sua capacidade de apresentar testes interessantes. Você deseja vê-los dividir as áreas de teste de maneira ordenada e, em seguida, detalhar cada área, criando casos de teste cada vez mais interessantes. Testadores realmente bons podem fazer isso por horas com todos os problemas, exceto os mais triviais; portanto, você pode precisar cortá-los e passar para outra categoria para ter uma boa ideia de como eles pensam.

Descreva o comportamento causado por um bug real no seu sistema que foi meio difícil de entender. Pergunte a eles o que fariam se vissem esse bug durante o teste. Aqui, você está procurando redução de bug - a capacidade de encontrar o conjunto mais simples de circunstâncias que podem reproduzir um bug. Isso torna a depuração muito mais fácil para os desenvolvedores, uma vez que eles têm uma idéia melhor sobre o que causou o problema e demonstram uma capacidade clara de solucionar problemas e uma compreensão clara de quais fatores podem interagir para causar bugs. Com seu produto específico, discutir uma condição de corrida pode ser divertido.

Dê a eles um programa simples de linha de comando que você tenha hackeado (talvez semeado de bugs) e uma especificação simples, e deixe-os sentar no computador e brincar com ele, com o objetivo de encontrar problemas. Aqui você procura criatividade e capacidade de direcionar áreas problemáticas. Eles devem testar coisas como entradas grandes, entradas pequenas, entradas estranhas, entradas vazias. Se eles encontrarem um bug, peça que eles tentem descobrir exatamente quando esse bug acontece (novamente com a redução do bug!).

Pergunte o que eles fariam se um SDE responder a um bug com "No Repro" ou "Won't Fix", se eles achassem que o bug era importante. Aqui você está procurando alguém que não seja apenas uma tarefa fácil, mas também não seja antagônica. Respostas razoáveis ​​incluem a adição de cenários de exemplo que demonstram mais claramente a gravidade do bug e a reabertura do ticket, conversando com o desenvolvedor para tentar entender por que as coisas foram resolvidas dessa maneira antes do fechamento, etc.

Converse com eles sobre seu aplicativo em um nível alto. Pergunte a eles que tipos de teste eles gostariam de realizar. Aqui você está procurando áreas gerais de teste, como teste de componente funcional, teste de integração, teste de desempenho e teste de segurança.

Se este é um engenheiro de SDET / automação, faça algumas perguntas para os desenvolvedores com aproximadamente 1/3 a metade do total de anos de experiência.

Se esta é sua primeira pessoa de controle de qualidade, verifique se eles podem iniciar automaticamente. Pergunte a eles como eles imaginam sua primeira semana ou mês de trabalho. Eles devem dizer algo sobre reunir requisitos e configurar ferramentas e descrever uma abordagem razoável para começar a testar. Você está procurando alguém que não precise de um chefe para dizer como iniciar os testes e que pode se autogerenciar. Se você já possui uma equipe de controle de qualidade, isso é menos importante.

Ethel Evans
fonte
11
E sempre há a pergunta estereotipada do teste de EM. . . "Como você testaria esta caneta?" É o equivalente do SDET de "Por que uma tampa de bueiro é redonda?"
Ethel Evans
+1 Ótima resposta - especialmente incluindo uma audição de teste. Algumas pessoas parecem ótimas quando estão conversando, mas a única maneira de realmente avaliar um testador é realmente fazê-lo testar.
Testerab
11
Sim . . . meu primeiro emprego fora da faculdade foi concluído porque me pediram para sentar e testar o aplicativo de calendário no Windows XP por 3 minutos e encontrei um bug de integração com o MS Outlook. A pessoa me pedindo para teste cometeu o erro de me deixar usar sua máquina de trabalho, e, aparentemente, eu consegui estragar a sua configuração muito mal :-P
Ethel Evans
Na sua opinião, o que acontece com alguém cujo trabalho é puramente focado na automação de testes? ou seja: os desenvolvedores escrevem seus testes de unidade e seu foco principal é automatizá-los e executá-los, gerar relatórios etc. (mais ferramentas e sistemas em desenvolvimento, em vez de testes manuais ou criação de casos de teste). Quais devem ser suas responsabilidades específicas e o que você esperaria delas da perspectiva do controle de qualidade? Qual é a linha entre as responsabilidades deles e as dos desenvolvedores?
K-RAN
11
@ K-RAN, a filosofia que eu mais gosto para equilibrar as responsabilidades dos desenvolvedores e testadores pela qualidade é "Os desenvolvedores iniciam no nível de 1 pé e os testadores iniciam no nível de 10.000 pés e se encontram em algum lugar no meio. Se houver menos testadores, que em algum lugar será mais alto, talvez até na integração do sistema; se houver mais testadores, esse nível será mais baixo e talvez logo acima dos testes de unidade ". Se você realmente está procurando ferramentas e sistemas de longo prazo - nenhuma opinião de especialistas sobre a qualidade dos testes, testes reais, etc., contrate como se estivesse contratando um desenvolvedor para essa função.
Ethel Evans
6

O que faço quando entrevistei candidatos a controle de qualidade é pedir que eles esboçam uma estratégia de teste para um aplicativo. Normalmente, dou a eles meu telefone e escolho um aplicativo com recursos limitados - ou deixo que eles escolham algo com o qual estão mais familiarizados. Quando eles listam uma estratégia de alto nível (alguns não podem), posso pedir que eles detalhem e listem alguns casos de teste.

Uma vez feito, posso dar a eles um cenário em que temos recursos limitados e ver como eles priorizam.

Também pergunto a eles quando o software é bom o suficiente para enviar, como lidar com situações em que o PM ou o desenvolvedor não sente que um bug é importante, mas sim. Cenários típicos de desenvolvimento de produtos.

Estes são para posições de controle de qualidade sem codificação. Codificando posições de controle de qualidade Dou-lhes uma entrevista combinada de desenvolvimento e teste.

rreeverb
fonte
De nada. Boa sorte =)
rreeverb
Eu adicionei essa abordagem em minhas próprias entrevistas de teste. Obrigado.
Ethel Evans
3

Pergunte a eles como eles projetariam planos de teste. Pergunte-lhes se eles têm experiência no uso de testes de regressão e como eles fizeram isso. Pergunte a eles como eles testam uma interface do usuário. Pergunte a eles como eles testariam as importações de dados que não passam pela interface do usuário (se você fizer isso). Pergunte a eles como eles comunicariam seus problemas aos desenvolvedores e como eles verificariam a resolução do problema. Eu perguntava a eles sobre o bug mais interessante (ou mais difícil de encontrar) que eles encontraram e como o encontraram.

Antes de começar a entrevista, procure alguns dos livros disponíveis sobre testes e avalie um pouco o que uma pessoa de controle de qualidade deve estar fazendo. Isso irá ajudá-lo a avaliar suas respostas.

Além disso, você também está procurando um bom ajuste de personalidade. Você não quer uma pessoa de controle de qualidade que seja uma tarefa fácil, mas também não quer um valentão ou um idiota. Mas você quer alguém que defenda a gerência quando as coisas estão erradas e não apenas aprove tudo, porque a gerência quer cumprir um prazo. Você deseja alguém que trabalhe efetivamente com os desenvolvedores e que entenda os requisitos do que eles estão testando. Alguém com alguma experiência no tipo de aplicativo que você está testando pode ser bom. Um testador com experiência em assistência médica saberá o que testar para alguém que não seja de outro campo.

HLGEM
fonte
-1

Eu acho que você não pode esperar que eles tenham algum conhecimento sério de tecnologia - quem tiver provavelmente irá recusar-se a trabalhar como testador mundano.

O melhor que você pode fazer é procurar coisas comuns, como atenção aos detalhes, mente curiosa, entusiasmo pela experimentação e assim por diante.


fonte
Quaisquer perguntas ou detalhes favoritos?
Kelloti
4
Isso depende de onde você mora. Estou enfrentando cada vez mais desenvolvedores que estão migrando para os testes por causa de seus desafios únicos e melhores perspectivas de carreira, mas estou em uma área muito pesada de software. Um bom teste é tudo menos mundano, e se você pagar o suficiente e tiver um ambiente que respeite os testadores qualificados como iguais a desenvolvedores qualificados, poderá obter testadores de estrelas do rock que sabem tudo o que fazem.
Ethel Evans
2
Isso diz muito mais sobre o tipo de empresa em que você trabalhou do que sobre os testadores em geral. Como Ethel diz, você obtém o que espera - se espera que seus testadores sejam mundanos e pagam adequadamente, simplesmente não atrairá testadores realmente qualificados.
Testerab