Teste A/B: o que é e por que tantos testes dão a resposta errada

Duas mensagens para os mesmos clientes. Uma começa com o desconto, a outra com uma novidade. Qual vende mais? Quase toda empresa responde essa pergunta pela opinião de alguém: do dono, de quem escreveu o texto, de quem gostou mais da imagem.

O teste A/B troca a opinião por resposta. E, quando é bem feito, mostra coisas sobre os seus clientes que nenhuma reunião descobriria. O problema é que a maior parte dos testes não é bem feita, e um teste mal feito é pior do que nenhum: ele dá uma resposta errada com cara de certeza.

O que é teste A/B

É mostrar duas versões de alguma coisa para dois grupos parecidos de pessoas, ao mesmo tempo, e comparar o resultado:

• Versão A: o que você já faz hoje.
• Versão B: a mesma coisa, com uma única mudança.

Se a versão B traz mais resultado, a mudança provavelmente funciona. Se não traz, você evitou trocar algo que já dava certo por algo pior. Em inglês, o nome é A/B testing.

O que dá para testar

Quase tudo que chega até o cliente pode ser testado. Alguns exemplos:

• Anúncios no Google, no Instagram e no Facebook: o título, a imagem, a oferta, o público.
• Site ou página do anúncio: a primeira frase, o texto do botão, o tamanho do formulário.
• E-mail e WhatsApp: o assunto, o horário de envio, o tom da mensagem.
• Oferta: desconto, brinde, frete grátis ou nenhum incentivo.

Cada um desses detalhes pode mudar o resultado. O difícil é saber quais mudam de verdade e quais só parecem mudar.

Por que tantos testes dão a resposta errada

Fazer um teste A/B parece simples: divide a lista, manda as duas versões, vê qual ganhou. É justamente essa aparência de simplicidade que leva aos erros mais comuns.

1. Encerrar o teste cedo demais

No primeiro dia, a versão B está ganhando de longe. A empresa comemora, desliga a versão A e adota a B para tudo. Uma semana depois, os resultados voltam ao normal. O que aconteceu? A diferença do primeiro dia era acaso. Saber quando um resultado é real e quando é ruído é a parte mais difícil de um teste, e a que quase ninguém faz.

2. Mudar várias coisas ao mesmo tempo

Título novo, imagem nova, oferta nova, tudo na versão B. Ela vende mais. Mas qual das três mudanças funcionou? Talvez uma tenha ajudado muito e outra tenha atrapalhado. Sem saber, você não aprende nada para a próxima campanha.

3. Medir o clique, e não a venda

Este é o erro mais caro. Veja um exemplo fictício, com duas mensagens enviadas para mil clientes cada:

Pelo painel de cliques, a mensagem A ganhou com folga. Pelo caixa, a mensagem B vendeu quase o dobro, e sem dar desconto. Quem olha só o clique escolhe a mensagem errada e ainda sacrifica a margem.

4. Esquecer de quem não recebeu nada

A campanha de reativação foi enviada e 40 clientes inativos voltaram a comprar. Sucesso? Depende: quantos teriam voltado de qualquer jeito, sem mensagem nenhuma? Um teste A/B compara duas versões, mas não responde se a campanha em si valeu a pena. Para isso, é preciso um grupo de controle: clientes parecidos que não recebem nada. A diferença entre os dois grupos é a receita que a campanha realmente gerou.

5. Testar com pouca gente

Com uma lista pequena, uma diferença de três ou quatro vendas entre as versões não quer dizer nada. A conclusão parece sólida, mas outro envio, para outras pessoas, poderia dar o resultado contrário. O tamanho do grupo muda o tipo de teste que faz sentido.

Teste A/B e grupo de controle respondem perguntas diferentes

As duas perguntas importam. A maioria das empresas faz, no máximo, a primeira, e por isso nunca sabe ao certo quanto o marketing de relacionamento ou o tráfego pago devolvem de receita.

O que um bom teste exige

Por trás de um resultado confiável, existe um trabalho que não aparece no painel:

• Uma pergunta clara antes de começar. O que você quer descobrir e o que vai fazer com a resposta.
• Grupos bem divididos. Parecidos entre si, sorteados, sem a versão B ir só para os melhores clientes.
• Volume e tempo suficientes. Para a diferença entre as versões deixar de ser acaso.
• Medição ligada às vendas. Saber quem comprou depois de receber cada versão, e não só quem clicou.
• Disciplina para não mexer no meio. Trocar a campanha no terceiro dia porque “não está indo bem” invalida tudo.
• Registro do que foi aprendido. Para a próxima campanha começar de onde a última parou.

Nada disso é impossível. Mas exige método, ferramentas que liguem a campanha ao caixa e alguém olhando para os números com frequência, o que costuma ser o primeiro trabalho a ficar para depois numa empresa que já tem muito a fazer.

Como a sintra mede o que funciona

Na sintra, a pergunta não é quantas pessoas clicaram, e sim o que realmente virou venda. Acompanhamos grupos de clientes ao longo do tempo e comparamos com quem não recebeu campanha: assim, você enxerga o dinheiro que entrou no caixa por causa da campanha, e não só o e-mail aberto.

No tráfego pago, ajustamos anúncios, públicos e página com base no que entrou no caixa. No marketing de relacionamento, cada grupo da sua base recebe a campanha certa, e o resultado é medido pela receita. Tudo começa pelo diagnóstico sintra, uma leitura da sua base atual que mostra por onde vale a pena começar.