Teste A/B ou multivariado? Se você não sabe quando usar cada um deles e quais as maiores diferenças entre esses métodos, confira o nosso artigo e tire suas dúvidas!
O teste A/B…
Muito popular, o teste A/B é um método quantitativo e comportamental de otimização de design baseado em comparação. Sua aplicação, tal qual conhecemos hoje, surgiu nos anos 1990, com o Google. E foi se popularizando através de empresas como Facebook e Netflix, que são conhecidas exatamente por buscar sempre otimizar a experiência do seu público.
Mas foi lá na década de 1920 que o estatístico e biólogo Ronald Fisher desenvolveu experimentos agrícolas que, futuramente, seriam muito importantes para a criação do que viria a ser o teste A/B. Ao se questionar “o que acontece se eu colocar mais fertilizante nesta terra?”, e fazer experimentos para testar possibilidades, ele acabou por criar os princípios por trás deste método. Nos 1960 e 1970, profissionais de marketing já usavam técnicas similares para avaliar campanhas de resposta direta.
Com o teste A/B, você pode testar tanto a parte visual quanto a textual do seu produto. E ele é válido para sites, aplicativos, e-mail marketing e trilhas de CRM, por exemplo. Em geral, costuma-se testar a posição dos elementos visuais e dos botões, os tipos de imagem, de CTA, subjects…
O teste A/B funciona basicamente assim: para metade das pessoas usuárias ou entrevistadas, você apresenta uma versão do que está sendo testado. Para a outra metade, uma versão diferente. Aquela que tiver melhor desempenho, ou seja, maior adesão, taxa de abertura ou de cliques, é a que deve seguir como a versão oficial.
O teste multivariado…
O que nem todo mundo sabe é que existe um outro teste muito similar, mas menos popular, chamado teste multivariado. Ele funciona basicamente como o teste A/B, mas dessa vez, em vez de criar apenas duas versões para teste, você vai criar uma variedade maior, fazendo todas as possíveis combinações dos elementos que você deseja testar.
Resumindo: quanto mais elementos você deseja testar, mais combinações serão possíveis… E isso vai demandar mais trabalho e mais tempo de teste.
Por exemplo, você tem duas imagens e dois CTAs diferentes e quer entender quais deles funcionam melhor com seu público. Concorda que apenas duas versões desse produto não são suficientes? Afinal, é possível criar quatro combinações diferentes, como você pode ver abaixo:
E é exatamente essa a grande diferença (e vantagem) do teste multivariado: possibilitar que a equipe entenda quais elementos realmente impactaram o desempenho da versão ganhadora. Enquanto no teste A/B, caso você teste mais de um elemento sendo testado, você não consegue ter essa visão.
Teste A/B x Teste multivariado
Se o teste multivariado é mais preciso, o que leva o teste A/B ser tão mais usado no universo de UX?
Quando se opta pelo multivariado, a cada adição de uma nova combinação, mais um teste deve ser feito. Isso significa que, ao invés de dividir o seu grupo de teste em 50 / 50, você terá que dividir em mais partes. Lembrando que o grupo de teste nunca deve ser o seu público total e, sim, cerca de 1% a 5% dele.
E a não ser que o seu produto tenha um número muito alto de acessos, ou você consiga um número alto de pessoas para participar da pesquisa, você terá que realizar testes multivariados mais longos para obter resultados consistentes e estatisticamente significativos. Para algumas equipes e projetos, isso é inviável.
Dan Siroker, em seu livro “A/B Testing: The Most Powerful Way to Turn Clicks Into Customers”, pontuou que, na maioria das vezes, é mais vantajoso realizar uma série de Testes A/B em sequência, do que um teste multivariado.
Isso significa que as pessoas devem se ater só ao teste A/B e descartar de imediato o teste multivariado? Não! A dica aqui, é usar os multivariados apenas quando você quiser refinar e aperfeiçoar os detalhes do seu design que já foi testado e considerado funcional.
Agora, você já tem mais conhecimento para poder escolher entre os tipos de teste que melhor atendem à necessidade do seu projeto, de acordo com tempo disponível, acessos, quantidade de pessoas entrevistadas… A/B ou multivariados, o importante é testar e entregar a melhor experiência para o seu público!