Como conduzir um teste piloto primeiro de forma eficaz?

É um ensaio do estudo com alguém como participante. Você executa a sessão como se estivesse com um participante real, mas joga fora os dados. O objetivo é ver se há algum problema com sua técnica e também praticar os procedimentos envolvidos. Depois, você pode fazer alterações em sua técnica e guia de discussão.

Quais problemas os testes piloto encontram?

Os testes-piloto ajudam a encontrar problemas em seu plano e métodos de pesquisa, incluindo:

• Os participantes entendem o que você está pedindo que eles façam?
• O fraseado das tarefas dá a resposta?
• Suas perguntas ou tarefas são tendenciosas?
• Suas perguntas ou tarefas provocam o tipo de informação de que você precisa?
• Existem perguntas ou tarefas repetitivas ou desnecessárias que podem ser eliminadas?
• As tarefas podem ser concluídas no protótipo ou certas telas, estados ou interações estão ausentes?
• Quanto tempo dura a sessão?

Choosing the Pilot Test Participant

Para alguns estudos, você pode usar praticamente qualquer pessoa como participante do teste piloto, como um colega de trabalho, amigo ou parente. Por exemplo, se você estiver fazendo um teste piloto de usabilidade de um site geral voltado para o consumidor, como um site de reservas de viagens, poderá usar praticamente qualquer pessoa. Eles não precisam ter nenhum conhecimento ou experiência especial.

Mas para alguns testes, é melhor obter um participante de teste piloto que se encaixe perfeitamente no perfil dos participantes reais que você usará. Por exemplo, se você estiver realizando testes de usabilidade de software usado por contadores fiscais, é ideal obter um participante do teste piloto com o conhecimento de domínio necessário para usar esse aplicativo. Mesmo para algo que parece simples, como um estudo com pessoas que usam um site de compra de carros, é melhor ter um participante de teste piloto que se encaixe no perfil de usuário de pessoas que estão pensando em comprar um carro nos próximos três meses. Se suas perguntas têm muito a ver com a motivação dos compradores de carros e como eles usam o site, você obterá respostas muito diferentes de alguém que não se encaixa no perfil. Nessas situações, se você usar um participante piloto que não se encaixa no perfil, não terá uma boa noção se as perguntas são relevantes, produzem discussões interessantes ou quanto tempo a sessão levará.

Sua primeira sessão não pode ser o teste piloto?

Se você não realizar especificamente um teste piloto, sua primeira sessão se tornará um teste piloto. É aí que você encontrará os problemas com seu método, as tarefas e as perguntas. O problema de esperar até o primeiro participante para encontrar os problemas é que você não terá muito tempo para fazer alterações antes da próxima sessão. Você pode fazer pequenas alterações no breve período entre a primeira e a segunda sessão, mas será tarde demais para fazer grandes alterações.

The Ideal Pilot Test

O ideal é realizar o teste piloto pelo menos um ou dois dias antes da primeira sessão. Recrute um participante extra, que corresponda a todos os critérios de triagem, para realizar o teste piloto. Se tudo correr bem, você pode manter os dados dessa pessoa. Se você encontrar problemas, poderá corrigi-los antes do início das sessões oficiais de pesquisa.

Teste Novas Atividades de Pesquisa

O teste piloto é sempre útil, mas é especialmente importante quando você vai tentar uma nova técnica. Por exemplo, uma vez conduzi um workshop em grupo no qual fizemos com que os participantes se dividissem em pequenos grupos para ilustrar seus processos de trabalho em post-its. Descobrimos que era muito difícil para eles fazerem isso juntos como uma atividade em grupo. Eles ficaram sem tempo e não foi a melhor experiência. Para os workshops subsequentes, cada participante trabalhou individualmente para ilustrar seu próprio processo de trabalho, o que foi muito mais fácil e eficaz. Com efeito, nosso primeiro workshop foi bem-sucedido como um teste piloto não intencional. No entanto, teria sido muito melhor se tivéssemos planejado como um teste piloto com um grupo menor de participantes.

Por que os testes-piloto são importantes

Você nunca sabe o quão bem um estudo de pesquisa irá, até a primeira sessão. É muito melhor resolver os problemas em um teste piloto do que na primeira sessão. Claro, às vezes você pode pular o teste piloto e tudo funciona bem. Mas são aqueles momentos em que as coisas dão errado, que poderiam ter sido descobertas antes, que você desejará ter realizado um teste piloto primeiro.