Developers
Play ConsoleMejora tu app con pruebas A/B
Las pruebas A/B te ayudan a probar las mejoras en tu app en un conjunto de usuarios, para que puedas usar los datos para elegir la mejor solución para toda tu base de usuarios.
Por qué funciona
Las pruebas A/B eliminan las adivinanzas a la hora de determinar si un cambio de en las funciones o el contenido de la app es beneficioso. Debido a que puedes probar los cambios en un subconjunto de usuarios, ayuda a evitar publicar una actualización para todos tus usuarios y descubrir que tiene un impacto negativo o inesperado.
Cómo hacerlo
- Selecciona una plataforma de pruebas A/B adecuada, como la orientación de porcentaje aleatoria de Firebase Remote Config con Firebase Analytics o Google Analytics con Google Tag Manager e intégrala a tu app.
- Determina las variantes del contenido o de la función que quieres probar y cómo medirás su éxito.
- Configura las funciones o el contenido que se mostrarán a los grupos de control y prueba de la siguiente manera:
| Situación | Ejemplo de cambio que se está probando | Los usuarios excluidos de la prueba verán… | Variante A | Variante B | Variante C, D, etc. (opcional) |
| Nueva implementación de función existente | El cambio a Navegación inferior desde Pestañas aumentará la participación del usuario |
… la implementación existente (p. ej., Pestañas) |
Implementación existente (p. ej., Pestañas) |
Implementación de la nueva función (p. ej., Navegación inferior) |
Implementación(es) de funciones adicional(es) (p. ej. Panel lateral de navegación) |
| Nueva función que crea una nueva métrica | La enumeración de los productos de compra directa desde la aplicación por popularidad, en lugar del precio, generará más ingresos |
… ninguna función nueva (p. ej., compra directa desde la aplicación no habilitada) |
Implementación de nueva función 1 (p. ej., artículos de compra directa desde la aplicación enumerados por popularidad) |
Implementación de nueva función 2 (p. ej., artículos de compra directa desde la aplicación enumerados por precio) |
Implementación(es) de funciones adicional(es) (p. ej., artículos de compra directa desde la aplicación enumerados alfabéticamente) |
| Nueva función medida con métrica existente | Permitir a los usuarios marcar elementos aumentará su participación |
… ninguna función nueva (p. ej., no se permite marcar elementos) |
Ninguna función nueva (p. ej., no se permite marcar elementos) |
Implementación de la nueva función (p. ej., se permite marcar elementos con un corazón) |
Implementación(es) de funciones adicional(es) (p. ej., se permite marcar elementos con una estrella) |
- Selecciona el tamaño de la población o la duración de tu prueba, según las funciones de tu plataforma de prueba A/B, con el objetivo de alcanzar una población de prueba de al menos 1,000 usuarios.
- Ejecuta la prueba.
- Revisa los resultados de la prueba para determinar si son estadísticamente significativos y si alguna de las variantes probadas mejoró el rendimiento de la app.
- Lanza el cambio "ganador" a todos tus usuarios.
Recomendaciones
- Selecciona una plataforma que permita probar a escala. A medida que tu app y tu negocio crecen, querrás ejecutar más pruebas A/B, con mayor frecuencia. Asegúrate de que tu plataforma elegida pueda ejecutar varias pruebas en paralelo en la misma población de usuarios, idealmente, con una población compartida (para que un usuario pueda estar en varias pruebas en simultáneo).
- Prueba la cantidad de variaciones que necesites para que la prueba sea útil. Considera probar más de dos variantes si hay varias funciones útiles alternativas o algunas opciones de contenido que crees que podrían ofrecer mejoras. Considera usar un enfoque multivariable para definir las variantes. Por ejemplo:
| Texto del botón (aspecto 2) | |||
| Comprar | Compra | ||
| Color del botón (aspecto 1) | Azul | Variante A | Variante B |
| Verde | Variante C | Variante D | |
- Ejecuta la prueba durante el tiempo suficiente para quitar variaciones periódicas. El comportamiento de los usuarios puede variar por hora, día, semana o ciclos similares. Ten en cuenta estas variaciones al configurar la duración de la prueba. En los casos en los que se sepa que el comportamiento varía en ciclos más largos, es posible que sea necesario usar un período de prueba más breve y extrapolar los resultados.
- Asegúrate de que las variaciones entre los segmentos de usuarios no afecten tu prueba. Si crees que el comportamiento de los usuarios variará entre los segmentos de usuarios, ejecuta la prueba dentro de un segmento o asegúrate de usar una muestra de usuarios representativa. Por ejemplo, si se sabe que los ingresos por usuarios varían por país, haz la prueba con usuarios de un país o una muestra de usuarios de todos los países.
- Haz pruebas en varios segmentos. Cuando tengas segmentos de usuarios útiles y conocidos, como un país, un canal de adquisición o similar, considera ejecutar la prueba en diferentes segmentos para ver si los resultados varían entre ellos. Puedes implementar el cambio solo para algunos segmentos o diferentes cambios para diferentes segmentos.
- Considera los beneficios potenciales para el negocio cuando configures la duración de la prueba. Al configurar la duración de la prueba o el tamaño del grupo de prueba (y, por lo tanto, el tiempo que llevará que se muestren las variantes a los verificadores) considera si una prueba más breve podría ser beneficiosa para el negocio (al poder incorporar las mejoras más pronto).
- Supervisa las pruebas para detectar cualquier resultado negativo inesperado y estar preparado para detener la prueba. A pesar de que la prueba tal vez involucra un pequeño porcentaje de usuarios, un resultado pobre podría afectar tu calificación y tus reseñas, o impactar en forma negativa a otros usuarios mediante información compartida en medios sociales.
- Si tu plataforma lo permite, implementa los cambios de manera incremental. A pesar de que la prueba podría indicar un beneficio estadístico para hacer un cambio, podría haber resultados inesperados cuando todos tus usuarios reciben el cambio. Si implementas el cambio de forma incremental, podrás supervisar su efecto a medida que los usuarios lo reciben y detener la implementación si no tiene los beneficios esperados.
- Excluye los usuarios que activaron la opción de tus métricas. Si ofreces a los usuarios la opción de ver o usar la nueva función que estás probando, recuerda excluir a ese usuario de las métricas.