进行应用内 A/B 测试以改进您的应用

  • 开发
  • 测试
  • 分析
  • 互动
  • 拓展

您可以借助 A/B 测试面向一部分用户测试应用的改进内容，然后根据收集到的数据选择适合整个用户群的最佳解决方案。

这样做的好处

您可以通过 A/B 测试来确定您对应用功能或内容所做的更改是否有所裨益，而不必再凭空猜测了。而且，由于您可以面向一部分用户测试更改，所以您不必担心发布后会对所有用户造成非预期的影响。

方法

  1. 选择合适的 A/B 测试平台，例如使用 Firebase 远程配置随机挑选一定比例的用户、使用 Google Analytics for Firebase 指定目标对象，再搭配 Google 跟踪代码管理器，并与应用进行整合。
  2. 确定要测试的功能或内容变体，以及您衡量这些变体成功与否的标准。

  3. 设置要在每个测试变体中以及向未参加测试的用户显示的功能或内容，例如：

    场景：现有功能的新实现方式

    示例：使用底部导航栏（而非标签页）来提升用户互动度。

    群组 用户看到的界面
    未参加测试的用户 现有实现方式（标签页）
    变体 A 现有实现方式（标签页）
    变体 B 新的功能实现方式（底部导航栏）
    变体 C、D 等（可选） 其他功能实施方式（例如：抽屉式导航栏）

    场景：可创建新指标的新功能

    示例：按热门程度（而非价格）列出应用内购商品，以便获得更多的收入。

    群组 用户看到的界面
    未参加测试的用户 不含新功能（未启用应用内购买）
    变体 A 第 1 种新功能实施方式（按热门程度列出应用内购商品）
    变体 B 第 2 种新功能实施方式（按价格列出应用内购商品）
    变体 C、D 等（可选） 其他功能实现方式（例如：按字母顺序列出购买内容）

    场景：使用现有指标衡量的新功能

    示例：允许用户标记商品，以便提升用户互动度。

    群组 用户看到的界面
    未参加测试的用户 不含新功能（未启用标记商品功能）
    变体 A 不含新功能（未启用标记商品功能）
    变体 B 新功能实施方式（例如：使用心形符号标记商品）
    变体 C、D 等（可选） 其他功能实现方式（例如：使用星形符号标记商品）
  4. 选择测试人数或测试持续时间（具体取决于 A/B 测试平台的功能），最低目标测试人数为 1000 位用户。
  5. 运行测试。
  6. 查看测试结果，以确定结果是否具有统计意义以及是否有测试变体成功改善了应用的效果。
  7. 面向所有用户发布“效果最佳”的更改内容。

最佳做法

  • 选择能够支持大规模测试的平台。 随着您的应用和业务的发展，您将需要更频繁地进行更多的 A/B 测试。确保您选择的平台可以面向相同的用户群体同时运行多项测试，理想的情况是让同一批人接受测试（用户可同时参与多项测试）。

  • 视需要决定测试变体的数量，以确保测试对您有所帮助。 如果某个功能或内容选项有多种实用且您认为可能有提升作用的替代方案，您最好针对两种以上的变体进行测试。

    考虑使用多变量方法来定义变体。例如：

按钮文字（变量 2）
购买 采购
按钮颜色（变量 1） 蓝色 变体 A 变体 B
绿色 变体 C 变体 D
  • 确保您的测试持续足够长的时间以排除周期性变化。 用户的行为可能有周期性变化，例如每小时、每天、每周或类似周期。在设置测试持续时间时，请考虑这种循环行为。如果已知相应行为在更长的周期内会发生变化，那么您可能需要采用较短的测试周期，并推断结果。
  • 确保用户细分之间的已知差异不会影响您的测试结果。 如果您认为用户的行为会因用户的细分而有所不同，请在一个细分内进行测试，或确保选择能代表所有用户的群组作为样本进行测试。例如，如果已知用户带来的平均收入因国家/地区而异，您可以通过对来自一个国家/地区的用户进行测试，或对来自所有国家/地区的用户进行抽样测试。
  • 针对多个细分进行测试。 如果您拥有可用且已掌握其信息的用户细分（如国家/地区、用户获取渠道），则可考虑面向不同的细分进行测试，以了解结果之间的差异。您可以选择只对部分细分发布更改，也可以将不同的更改发布给不同的细分。
  • 在设定测试持续时间时考虑潜在的商业效益。 在设定测试的持续时间或测试群体的规模（这会影响向测试人员显示不同变体所需的时间）时，需考虑时间较短的测试是否具有商业效益（例如可以更快地获利）。
  • 对任何不符合预期的负面结果进行监测，并做好随时停止测试的准备。 尽管测试可能仅涉及一小部分用户，但如果测试结果非常糟糕，仍会影响您的评分和评价；此外，其他用户也可能因为在社交媒体上看到测试者分享的信息，而对您的应用产生负面印象。
  • 在平台允许的条件下，逐步发布更改。 即使测试结果可能从统计学角度表明做出某项更改是有益处的，但是当您将这项更改面向所有用户发布时，仍可能出现不符合预期的结果。通过逐步发布更改，您可以分批向用户发布更改并监控效果，一旦发现没有实现预期的效益，则停止发布。
  • 从指标中排除参与测试的用户。 如果您允许用户选择是否参与测试来查看或使用您正在测试的新功能，请记住将这类用户从指标中排除。

使用入门

将 Firebase 远程配置与 Firebase Analytics 配合使用