Aprimorar seu app realizando testes A/B nele
O teste A/B ajuda a comprovar a implementação de melhorias no seu app em um subconjunto de usuários, fornecendo dados que possibilitam escolher a melhor solução para toda a base de usuários.
Por que isso funciona
Com o teste A/B, você elimina os palpites na hora de determinar se uma alteração nos recursos ou no conteúdo do app será benéfica. Como é possível testar alterações em um subconjunto de usuários, o teste A/B impede o lançamento de uma atualização para todos os usuários que terá, na prática, impacto inesperado.
Como fazer
- Selecione uma plataforma de teste A/B adequada, como a segmentação de percentil aleatória do Configuração remota do Firebase com o Google Analytics para Firebase e com o Gerenciador de tags do Google, e integre-a ao app.
- Determine o recurso ou as variantes de conteúdo que quer testar e como o sucesso será medido.
-
Configure os recursos ou os conteúdos a serem mostrados em cada variante de teste e para os usuários que não estão sendo testados, por exemplo:
Cenário: nova implementação do recurso existente
Exemplo: usar a navegação inferior em vez de guias para aumentar o engajamento do usuário.
Grupo O que os usuários veem Usuários excluídos do teste Implementação existente (guias) Variante A Implementação existente (guias) Variante B Implementação de novos recursos (navegação inferior) Variante C, D etc. (opcional) Implementações de recursos adicionais (por exemplo, uma gaveta de navegação) Cenário: novo recurso que cria uma nova métrica
Exemplo: listar itens comprados no app por popularidade, em vez de preço, para gerar mais receita.
Grupo O que os usuários veem Usuários excluídos do teste Nenhum recurso novo (compras no aplicativo não estão ativadas) Variante A Implementação de novos recursos 1 (itens de compra no aplicativo listados por popularidade) Variante B Implementação de novos recursos 2 (itens de compra no aplicativo listados por preço) Variante C, D etc. (opcional) Implementações adicionais de recursos (por exemplo, itens de compra ordenados alfabeticamente) Cenário: novo recurso avaliado com uma métrica existente
Exemplo: permitir que os usuários marquem itens para aumentar o engajamento do usuário.
Grupo O que os usuários veem Usuários excluídos do teste Nenhum novo recurso (a marcação de itens está desativada) Variante A Nenhum novo recurso (a marcação de itens está desativada) Variante B Implementação de novos recursos (por exemplo, marcar itens usando um símbolo de coração) Variante C, D etc. (opcional) Implementações adicionais de recursos (por exemplo, marcar itens usando um símbolo de estrela) - Selecione o tamanho do grupo de teste ou a duração do teste de acordo com os recursos da plataforma de teste A/B, com o objetivo de atingir um grupo de teste com pelo menos mil usuários.
- Faça o teste.
- Revise os resultados do teste para determinar se eles são estatisticamente significativos e se alguma das variantes testadas melhorou o desempenho do app.
- Libere a alteração "vencedora" para todos os seus usuários.
Práticas recomendadas
- Selecione uma plataforma que permite dimensionar os testes. À medida que seu app e seus negócios crescerem, você precisará executar mais testes A/B e com mais frequência. Veja se a plataforma escolhida consegue executar vários testes em paralelo no mesmo grupo de usuários e idealmente usando um grupo compartilhado, para que um usuário possa estar em vários testes simultaneamente.
-
Analise o maior número possível de variações para que o teste seja útil. Procure testar mais de duas variantes se houver várias alternativas úteis para o conteúdo que poderiam trazer melhorias.
Considere uma abordagem multivariada para definir as variantes. Por exemplo:
| Texto do botão (aspecto 2) | |||
| Compre | Comprar | ||
| Cor do botão (aspecto 1) | Azul | Variante A | Variante B |
| Verde | Variante C | Variante D | |
- Execute o teste por um período suficiente para remover variações periódicas. O comportamento do usuário pode variar de acordo com horários, dias, semanas ou ciclos semelhantes. Considere esse comportamento cíclico ao definir a duração do teste. Quando se sabe que o comportamento varia durante ciclos mais longos, pode ser necessário aplicar um período de teste mais curto e generalizar os resultados.
- Verifique se as variações conhecidas entre os segmentos de usuários não afetam seu teste. Se você achar que o comportamento varia entre os segmentos de usuários, faça o teste em um segmento ou use uma amostra representativa de todos os usuários. Por exemplo, caso você saiba que a receita por usuário varia entre países, faça o teste com usuários de um só país ou com uma amostra de usuários de todos eles.
- Teste em vários segmentos. Nos locais em que você tem segmentos úteis e conhecidos, como país ou canal de aquisição, procure realizar o teste em diferentes segmentos para ver se os resultados variam entre eles. Em seguida, você pode liberar a alteração para somente alguns segmentos ou, então, diferentes alterações para diferentes segmentos.
- Ao definir a duração do teste, considere possíveis benefícios para o negócio. Ao definir a duração do teste ou o tamanho do grupo de teste e, portanto, o tempo que levará para que as variantes sejam exibidas para os testadores, considere se um teste mais curto poderia trazer mais benefícios para o negócio, por gerar tais melhorias mais rapidamente.
- Monitore os testes em busca de resultados negativos inesperados e deixe tudo preparado para interrompê-lo. Mesmo que o teste envolva apenas uma pequena porcentagem de seus usuários, um resultado muito ruim poderia prejudicar suas notas e avaliações ou afetar negativamente outros usuários, por meio de informações compartilhadas nas mídias sociais.
- Se a plataforma permitir, implemente as alterações de forma crescente. Mesmo que os testes indiquem estatisticamente que uma alteração trará benefícios, resultados inesperados ainda poderão ocorrer quando ela estiver disponível para os usuários. Ao liberar a alteração de forma crescente, você conseguirá monitorar os efeitos dela conforme o número de usuários contemplados for aumentando e poderá interromper a implementação se os benefícios esperados não forem atingidos.
- Exclua das suas métricas os usuários que aceitaram participar do teste. Se você fornecer aos usuários a opção de ativar a exibição ou o uso de um novo recurso que estiver em teste, lembre-se de excluir essas pessoas das métricas.
Primeiros passos
Usar a Configuração remota do Firebase com o Google Analytics