A/B テスト
Create and run A/B tests with statistical significance tracking to validate game changes.
読み終わるまでの所要時間 2 分最終更新 1日前
A/B テストは、Game Overrides 内のダッシュボード機能です。Override を設定したバリアントに分けて、それらのバリアントがゲームに与える影響を確認します。例えば、開始時に提供されるコインが多すぎるために、プレイヤーがゲームを進めるのが速すぎたり、早々にプレイをやめてしまったりして、IAP (アプリ内課金) の機会を逃していると思われることがあります。その場合、コントロールとバリアントの 2 つの開始時残高を設定します。
A/B テストとしての Override の定義
Game Overrides に移動し、Create override (Override の作成) を選択します。 Override に 名前を付け、Setup as A/B test (A/B テストとして設定) チェックボックスをオンにします。次に、ドロップダウンから目標指標を選択し、Next (次へ) を選択します。
ターゲット
A/B テストはすべてのプレイヤーをターゲットとします。バリアントの重みを低く設定し、コントロールの重みを高く設定することで、代替設定を取得するプレイヤーの人数を制限できます。特に A/B テストでは、現在、特定のオーディエンスを選択したり、JEXL をターゲティングに使用したりすることはできません。コンテンツの設定
Content (コンテンツ) ページの Variant 1 (バリアント 1) で、Add Keys (キーの追加) を選択します。キー名 と 値 を選択します。Variant 1 はコントロールで、設定の初期値に一致します。上部のタブを使用して新しいバリアントグループを追加し、テストする別の値で同じ手順を繰り返します。Add a variant group (バリアントグループの追加) を選択して、2 つ目のバリアントを追加します。現在、2 つのバリアントがサポートされています。ベストプラクティスとして、1 つの変更をテストして、テストしている変数が指標に影響するかどうかを確認します。 デフォルトでは、プレイヤーはコントロールグループとバリアントグループに均等に割り当てられます。グループの個々の重み付けを制御する場合は、Split Manually (手動で分割) を選択します。バリアントを満足できるレベルに分けることをお勧めします。
テストのスケジュール設定
開始日を指定して Override のスケジュールを設定します。注意
テストの一環としてプレイヤーに提供される設定の整合性を維持するために、同じ変数に対して重複する Override を実行しないようにしてください。他の Override よりも優先されるように、テスト用に高い優先順位を選択します。
結果とレポートの表示
A/B テストを 7 日間実施し、必要な参加者数に達したら、Reporting (レポート) タブで Load experiment results (実験結果のロード) を選択できます。
決定および Override の終了
A/B テストの結果をロードして確認したら、決定を下すまで関連する Game Override はアクティブなままになります。 Override のページの右上にある End Override (Override の終了) を選択し、2 つの主要オプションのいずれかを選択します。- End your Override (Override を終了する) を選択します (バリアントグループには、この A/B テストに関連する代替設定が提供されなくなり、プロジェクトのアクティブな基本設定に戻ります)。
- Select a variant to roll out to the players targeted by your Override (Override のターゲットとなるプレイヤーにロールアウトするバリアントを選択する) を選択します (この A/B テストのバリアントが、すべてのプレイヤーの新しいアクティブな設定になります)。
ベストプラクティス
- 目標指標を念頭に置いてテストを実施します。プレイヤーの行動をどのように改善するかについて考えるために、テストが終了するまで待つと、テストを最適に実施できない場合があります。
- ゲームの変更後の動作とデフォルトの動作を比較するために、コントロールグループと 1 つ以上の処理グループまたは "バリアント" グループを作成します。
- 各バリアントグループのプレイヤーの人数が計算済みのサンプルサイズに達していることを確認します。これにより、テストの有効性が確保されます。グループが小さすぎると、テストの精度に影響を与える可能性があるためです。
- 変更を 1 つずつテストして、その変更が指標に影響を与えているかどうかを確認します。複数の変更をテストすると、どの変更が指標に影響しているかがわかりづらくなります。
- 複数のテストを実施する場合は、同じ変数に対して重複するテストを実施しないようにします。これにより、どの変数がどの指標に影響しているかを簡単に確認できます。