A/B 테스트#

A/B 테스트는 Game Overrides 내 대시보드 기능으로, 설정한 여러 배리언트로 오버라이드를 분할하여 게임에 어떤 영향을 미치는지 확인할 수 있습니다. 예를 들어, 시작 플레이어에게 코인이 너무 많이 지급되어 게임이 너무 빠르게 진행되거나 플레이가 너무 일찍 중단됨으로써 IAP(인앱 구매) 기회를 놓치고 있다는 생각이 들 수 있습니다. 이 경우 통제군과 대조군의 두 가지 시작 잔액을 설정해 볼 수 있습니다.

오버라이드를 A/B 테스트로 정의#

Game Overrides로 이동하여 Create override를 선택합니다.

오버라이드 이름을 지정하고 Setup as A/B test 체크박스를 선택한 다음 드롭다운에서 목표 지표를 선택하고 Next를 선택합니다.

타겟

A/B 테스트는 모든 플레이어를 타게팅합니다. 대조군에 더 낮은 가중치를 설정하고 통제군에 더 높은 가중치를 설정하여 대체 구성을 받는 플레이어의 수를 제한할 수 있습니다. 구체적으로 A/B 테스트의 경우 현재 특정 잠재 고객을 선택하거나 타게팅에 JEXL을 사용할 수 없습니다.

콘텐츠 구성#

Content 페이지에서 Variant 1 아래에 있는 Add Keys를 선택합니다. 키 이름과 값을 선택합니다. Variant 1은 대조군이며 구성의 기본값과 일치합니다. 상단의 탭을 사용하여 새 배리언트 그룹을 추가하고 테스트하려는 다른 값을 사용하여 동일한 단계를 반복합니다. Add a variant group을 선택하여 두 번째 배리언트를 추가합니다. 현재 두 가지 배리언트가 지원됩니다. 한 가지 변경 사항을 테스트하여 테스트 중인 변수가 지표에 영향을 미치는지 확인하는 것이 가장 좋습니다.

기본적으로 플레이어는 통제군과 대조군 두 그룹 간에 균등하게 할당됩니다. 그룹의 개별 가중치를 제어하려면 Split Manually를 선택합니다. 배리언트를 적당한 수준으로 분할하는 것이 좋습니다.

각 그룹에 들어갈 플레이어의 비율을 변경할 수 있습니다. 값의 합은 100%가 되어야 합니다. 계속하려면 Next를 선택합니다.

테스트 예약#

시작 날짜로 오버라이드를 예약합니다.

Get required sample size를 선택하고 측면 드로어에서 실험 파라미터를 조정하여 실험이 통계적으로 유의미하도록 각 배리언트에 포함되어야 하는 플레이어 수를 계산합니다.

오버라이드 우선순위를 설정하고 Continue를 선택하여 오버라이드를 생성합니다.

결과 보기 및 리포트#

A/B 테스트가 7일 동안 실행되고 필수 참가자 수가 충족되면 Reporting 탭에서 Load experiment results를 선택할 수 있습니다.

그런 다음 결과를 해석하고 A/B 테스트의 일부로 플레이어 하위 집합에 도입된 변경 사항이 선택한 지표에 어떤 영향을 미치는지 확인할 수 있습니다.

Analytics 이벤트를 통해 해당 Game Overrides 리포트도 볼 수 있습니다. Game Overrides 목록에서 오버라이드 이름을 선택한 다음 Reporting 탭을 선택합니다.

지표별로 필터링하고 기간 창을 조정하여 오늘, 지난 7일, 지난 14일, 지난 30일과 지난 분기에 대한 결과를 조회할 수 있습니다.

결정 및 오버라이드 종료#

검토를 위해 A/B 테스트 결과가 로드되면 결정을 내릴 때까지 관련 게임 오버라이드가 활성 상태로 유지됩니다.

오버라이드 페이지 오른쪽 상단에서 End Override를 선택하고 두 가지 주요 옵션 중 하나를 선택합니다.

1. End your Override를 선택합니다.(배리언트 그룹에는 더 이상 이 A/B 테스트와 관련된 대체 구성이 제공되지 않으며 프로젝트의 활성 기본 구성으로 돌아갑니다.)
2. Select a variant to roll out to the players targeted by your Override를 선택합니다. (이 A/B 테스트의 배리언트가 모든 플레이어에 대한 새로운 활성 구성이 됩니다.)

이 선택 사항을 확인하고 적용하려면 프롬프트 하단의 알림 체크박스를 선택하고 End Override를 선택합니다.

베스트 프랙티스#

• 목표 지표를 염두에 두고 테스트를 실행합니다. 테스트를 실행한 후 플레이어 동작을 개선하기 위한 방법을 고민할 경우, 테스트를 최적으로 실행하지 못할 수 있습니다.
• 통제 그룹과 하나 이상의 처리 또는 ‘배리언트’ 그룹을 만들어 게임의 기본 동작과 변경 내용을 비교합니다.
• 계산된 샘플 크기에 도달하기 위해 각 배리언트 그룹에 충분한 수의 플레이어를 확보합니다. 그룹이 너무 작으면 테스트의 정확도에 영향을 미칠 수 있으므로, 테스트의 유효성을 보장하기 위해 필요합니다.
• 한 번에 한 가지 변경 사항을 테스트하여 변경 사항이 지표에 영향을 미치는지 확인합니다. 여러 변경 사항을 테스트하면 어떤 변경 사항이 지표에 영향을 미치는지 알 수 없습니다.
• 여러 테스트를 실행할 때 동일한 변수에 대해 중복 테스트를 실행하지 않습니다. 이를 통해 어떤 변수가 어떤 지표에 영향을 미치는지 더 쉽게 확인할 수 있습니다.