A/B テスト#

A/B テストは、Game Overrides 内のダッシュボード機能です。Override を設定したバリアントに分けて、それらのバリアントがゲームに与える影響を確認します。例えば、開始時に提供されるコインが多すぎるために、プレイヤーがゲームを進めるのが速すぎたり、早々にプレイをやめてしまったりして、IAP (アプリ内課金) の機会を逃していると思われることがあります。その場合、コントロールとバリアントの 2 つの開始時残高を設定します。

A/B テストとしての Override の定義#

Game Overrides に移動し、Create override (Override の作成) を選択します。

Override に 名前を付け、Setup as A/B test (A/B テストとして設定) チェックボックスをオンにします。次に、ドロップダウンから目標指標を選択し、Next (次へ) を選択します。

ターゲット#

A/B テストはすべてのプレイヤーをターゲットとします。バリアントの重みを低く設定し、コントロールの重みを高く設定することで、代替設定を取得するプレイヤーの人数を制限できます。特に A/B テストでは、現在、特定のオーディエンスを選択したり、JEXL をターゲティングに使用したりすることはできません。

コンテンツの設定#

Content (コンテンツ) ページの Variant 1 (バリアント 1) で、Add Keys (キーの追加) を選択します。キー名 と 値 を選択します。Variant 1 はコントロールで、設定の初期値に一致します。上部のタブを使用して新しいバリアントグループを追加し、テストする別の値で同じ手順を繰り返します。Add a variant group (バリアントグループの追加) を選択して、2 つ目のバリアントを追加します。現在、2 つのバリアントがサポートされています。ベストプラクティスとして、1 つの変更をテストして、テストしている変数が指標に影響するかどうかを確認します。

デフォルトでは、プレイヤーはコントロールグループとバリアントグループに均等に割り当てられます。グループの個々の重み付けを制御する場合は、Split Manually (手動で分割) を選択します。バリアントを満足できるレベルに分けることをお勧めします。

各グループに分けるプレイヤーの割合を変更できます。値の合計が 100% になる必要があります。Next (次へ) を選択して続行します。

テストのスケジュール設定#

開始日を指定して Override のスケジュールを設定します。

Get required sample size (必要なサンプルサイズを取得) を選択し、実験が統計的に有意になるように、サイドドロワーで実験のパラメーターを調整して、各バリアントに割り当てる必要があるプレイヤーの人数を計算します。

Override の優先順位を設定し、Continue (続行) を選択して Override を作成します。

結果とレポートの表示#

A/B テストを 7 日間実施し、必要な参加者数に達したら、Reporting (レポート) タブで Load experiment results (実験結果のロード) を選択できます。

結果を解釈し、A/B テストの一環としてプレイヤーのサブセットに導入された変更が選択した指標に与えた影響を確認できます。

また、Analytics のイベントを通じて、対応する Game Overrides レポートを表示することもできます。Game Overrides のリストで Override 名を選択し、Reporting (レポート) タブを選択します。

指標でフィルター処理し、時間ウィンドウを調整して、今日、過去 7 日間、過去 14 日間、過去 30 日間、直前の四半期の結果を表示できます。

決定および Override の終了#

A/B テストの結果をロードして確認したら、決定を下すまで関連する Game Override はアクティブなままになります。

Override のページの右上にある End Override (Override の終了) を選択し、2 つの主要オプションのいずれかを選択します。

1. End your Override (Override を終了する) を選択します (バリアントグループには、この A/B テストに関連する代替設定が提供されなくなり、プロジェクトのアクティブな基本設定に戻ります)。
2. Select a variant to roll out to the players targeted by your Override (Override のターゲットとなるプレイヤーにロールアウトするバリアントを選択する) を選択します (この A/B テストのバリアントが、すべてのプレイヤーの新しいアクティブな設定になります)。

この選択を確定して適用するには、プロンプトの下部にあるリマインダーチェックボックスをオンにし、End Override (Override の終了) を選択します。

ベストプラクティス#

• 目標指標を念頭に置いてテストを実施します。プレイヤーの行動をどのように改善するかについて考えるために、テストが終了するまで待つと、テストを最適に実施できない場合があります。
• ゲームの変更後の動作とデフォルトの動作を比較するために、コントロールグループと 1 つ以上の処理グループまたは "バリアント" グループを作成します。
• 各バリアントグループのプレイヤーの人数が計算済みのサンプルサイズに達していることを確認します。これにより、テストの有効性が確保されます。グループが小さすぎると、テストの精度に影響を与える可能性があるためです。
• 変更を 1 つずつテストして、その変更が指標に影響を与えているかどうかを確認します。複数の変更をテストすると、どの変更が指標に影響しているかがわかりづらくなります。
• 複数のテストを実施する場合は、同じ変数に対して重複するテストを実施しないようにします。これにより、どの変数がどの指標に影響しているかを簡単に確認できます。