A/B 테스트
Create and run A/B tests with statistical significance tracking to validate game changes.
읽는 시간 1분최근 업데이트: 한 달 전
A/B 테스트는 Game Overrides 내 대시보드 기능으로, 설정한 여러 배리언트로 오버라이드를 분할하여 게임에 어떤 영향을 미치는지 확인할 수 있습니다. 예를 들어, 시작 플레이어에게 코인이 너무 많이 지급되어 게임이 너무 빠르게 진행되거나 플레이가 너무 일찍 중단됨으로써 IAP(인앱 구매) 기회를 놓치고 있다는 생각이 들 수 있습니다. 이 경우 통제군과 대조군의 두 가지 시작 잔액을 설정해 볼 수 있습니다.
오버라이드를 A/B 테스트로 정의
Game Overrides로 이동하여 Create override를 선택합니다. 오버라이드 이름을 지정하고 Setup as A/B test 체크박스를 선택한 다음 드롭다운에서 목표 지표를 선택하고 Next를 선택합니다.
타겟
A/B 테스트는 모든 플레이어를 타게팅합니다. 대조군에 더 낮은 가중치를 설정하고 통제군에 더 높은 가중치를 설정하여 대체 구성을 받는 플레이어의 수를 제한할 수 있습니다. 구체적으로 A/B 테스트의 경우 현재 특정 잠재 고객을 선택하거나 타게팅에 JEXL을 사용할 수 없습니다.콘텐츠 구성
Content 페이지에서 Variant 1 아래에 있는 Add Keys를 선택합니다. 키 이름과 값을 선택합니다. Variant 1은 대조군이며 구성의 기본값과 일치합니다. 상단의 탭을 사용하여 새 배리언트 그룹을 추가하고 테스트하려는 다른 값을 사용하여 동일한 단계를 반복합니다. Add a variant group을 선택하여 두 번째 배리언트를 추가합니다. 현재 두 가지 배리언트가 지원됩니다. 한 가지 변경 사항을 테스트하여 테스트 중인 변수가 지표에 영향을 미치는지 확인하는 것이 가장 좋습니다. 기본적으로 플레이어는 통제군과 대조군 두 그룹 간에 균등하게 할당됩니다. 그룹의 개별 가중치를 제어하려면 Split Manually를 선택합니다. 배리언트를 적당한 수준으로 분할하는 것이 좋습니다.
테스트 예약
시작 날짜로 오버라이드를 예약합니다.경고
테스트의 일부로 플레이어에게 제공되는 구성의 무결성을 유지하려면 동일한 변수에 대해 중복되는 오버라이드를 실행하지 않아야 합니다. 해당 테스트에 대해 더 높은 우선순위를 선택하여 다른 오버라이드보다 우선 적용되도록 합니다.
결과 보기 및 리포트
A/B 테스트가 7일 동안 실행되고 필수 참가자 수가 충족되면 Reporting 탭에서 Load experiment results를 선택할 수 있습니다.
결정 및 오버라이드 종료
검토를 위해 A/B 테스트 결과가 로드되면 결정을 내릴 때까지 관련 게임 오버라이드가 활성 상태로 유지됩니다. 오버라이드 페이지 오른쪽 상단에서 End Override를 선택하고 두 가지 주요 옵션 중 하나를 선택합니다.- End your Override를 선택합니다.(배리언트 그룹에는 더 이상 이 A/B 테스트와 관련된 대체 구성이 제공되지 않으며 프로젝트의 활성 기본 구성으로 돌아갑니다.)
- Select a variant to roll out to the players targeted by your Override를 선택합니다. (이 A/B 테스트의 배리언트가 모든 플레이어에 대한 새로운 활성 구성이 됩니다.)
베스트 프랙티스
- 목표 지표를 염두에 두고 테스트를 실행합니다. 테스트를 실행한 후 플레이어 동작을 개선하기 위한 방법을 고민할 경우, 테스트를 최적으로 실행하지 못할 수 있습니다.
- 통제 그룹과 하나 이상의 처리 또는 ‘배리언트’ 그룹을 만들어 게임의 기본 동작과 변경 내용을 비교합니다.
- 계산된 샘플 크기에 도달하기 위해 각 배리언트 그룹에 충분한 수의 플레이어를 확보합니다. 그룹이 너무 작으면 테스트의 정확도에 영향을 미칠 수 있으므로, 테스트의 유효성을 보장하기 위해 필요합니다.
- 한 번에 한 가지 변경 사항을 테스트하여 변경 사항이 지표에 영향을 미치는지 확인합니다. 여러 변경 사항을 테스트하면 어떤 변경 사항이 지표에 영향을 미치는지 알 수 없습니다.
- 여러 테스트를 실행할 때 동일한 변수에 대해 중복 테스트를 실행하지 않습니다. 이를 통해 어떤 변수가 어떤 지표에 영향을 미치는지 더 쉽게 확인할 수 있습니다.