文档

支持

Game Overrides

Game Overrides

A/B 测试

Create and run A/B tests with statistical significance tracking to validate game changes.
阅读时间4 分钟最后更新于 1 个月前
A/B 测试是 Game Overrides 中的一种 Dashboard（后台）功能，可将覆盖拆分为不同变体，这些变体经过设置后，可用于查看不同版本对游戏的影响。例如，您可能认为新手玩家获得过多金币，导致游戏进度过快，或者玩家过早弃游，错过产生 IAP（应用内购）的机会。您需要设置两种起始余额：控制组和变体组。

将覆盖定义为 A/B 测试

转到 Game Overrides 并选择 Create override（创建覆盖）。 通过 Name（命名） 为覆盖命名，选中 Setup as A/B test（设置为 A/B 测试） 复选框，并从下拉菜单中选择一个目标指标，然后选择 Next（下一步）。

目标

A/B 测试将面向所有玩家。您可以通过为变体组设置较低的权重并为控制组设置较高的权重来限制获取替代配置的玩家数量。对于 A/B 测试，目前无法选择特定的受众或使用 JEXL 进行定向投放。

配置内容

在 Content（内容）页面上，从 Variant 1（变体 1）下方选择 Add Keys（添加键）。选择 Key name（键名称） 和 Value（值）。变体 1 是控制组，并将与配置的默认值保持一致。使用顶部的选项卡添加新的变体组并重复上述相同步骤，但选择要测试的不同值。选择 Add a variant group（添加变体组） 来添加另一个变体。目前支持两种变体。最好一次测试一项变化，以了解您正在测试的变量是否影响您的各项指标。 默认情况下，您的玩家会均匀分配至控制组和变体组。如果您想要控制某个组的个别权重，请选择 Split Manually（手动拆分）。我们建议将变体拆分到您感到舒适的水平。
您可以更改分配到每个组的玩家百分比。百分值的总和必须为 100%。选择 Next（下一步）以继续。

安排测试

安排开始运行覆盖的日期。 选择 Get required sample size（获取所需的样本大小） 并在侧边栏中调整实验的参数，以计算出每个变体需要多少位玩家，从而使实验在统计上具有显著性。 为覆盖设置优先级并选择 Continue（继续） 以创建覆盖。

查看结果和报告

在 A/B 测试运行了 7 天并且达到了所需的参与人数后，您可以从 Reporting（报告）选项卡中选择 Load experiment results（加载实验结果）。
然后，您可以解读结果，看看作为 A/B 测试的一部分引入到玩家子集的更改对所选的指标有何影响。 您还可以通过 Analytics 事件查看相应的 Game Overrides 报告。在 Game Overrides 列表中，选择相应的覆盖名称，然后选择 Reporting（报告）选项卡。 您可以按指标筛选，并调整时间窗口，以查看今天、过去 7 天、过去 14 天、过去 30 天和上个季度的结果。

做出决策并终止覆盖

在 A/B 测试的结果加载完成以供审查后，相关的游戏覆盖将保持活动状态，直到您做出决策。 选择覆盖页面右上方的 End Override（结束覆盖），并选择以下两个主要选项之一：
  1. 选择 End your Override（结束您的覆盖）（变体组将不再接收与 A/B 测试相关联的备用配置，并将还原为项目的有效基础配置）。
  2. 选择 Select a variant to roll out to the players targeted by your Override（选择要向覆盖的目标玩家推出的变体）（此 A/B 测试的变体将成为所有玩家的新生效配置）。
要确认并应用此选项，请选中提示框底部的提醒复选框并选择 End Override（结束覆盖）。

最佳实践

  • 设定一个目标指标并运行测试。如果您等到测试运行后再考虑如何改善玩家行为，可能无法让测试实现最理想的运行效果。
  • 创建一个控制组和一个或多个处理组或“变体”组，以将您的更改与游戏的默认行为进行比较。
  • 确保每个变体组中有足够的玩家，以达到计算的样本大小。这样可以确保测试的有效性，因为组内玩家太少可能会影响测试的准确性。
  • 一次测试一个变化，以查看该变化是否影响您的指标。同时测试多个变化会导致难以确定哪些变化影响了指标。
  • 在运行多个测试时，确保不要对相同的变量运行重叠的测试。这样可以更容易地看出哪个变量影响哪个指标。