A/B 테스트 베스트 프랙티스

A/B 테스트 설정 성공 사례

• 새로운 광고 네트워크를 추가하여 이 네트워크가 수익성이 있는지 확인합니다.
  • 하트폴 최적화 테스트(예: 하이브리드 대 기존 하트폴, 특정 국가의 새로운 하트폴, 다른 인스턴스 가격, 인스턴스 추가 또는 제거, 세그먼트 및 그룹의 하트폴)
  • 참여에 영향을 주지 않고 최대한의 수익을 얻기 위한 다양한 제한 및 속도 조정 전략
  • 배너 새로고침 속도가 배너 성능을 극대화합니다.
  • 다양한 보상형 비디오 보상 금액을 사용하여 가장 많은 참여 수준을 갖춘 비디오를 결정합니다. 
• AB 트래픽 할당자 활용합니다.
  • 컨트롤 그룹과 테스트 그룹 간 50/50 분할로 테스트를 시작하고 싶지 않은 경우 A/B 트래픽 분할 할당자 사용하여 트래픽 90/10 분할로 분할하십시오. 이를 통해 테스트 그룹에 너무 많은 트래픽 커밋하지 않고 테스트 그룹의 성과를 분석할 수 있습니다.
  • 테스트 그룹이 잘 수행되면 트래픽 한 번에 5-10% 늘리십시오.
• 한 번에 하나의 변수 테스트합니다.
  • 광고 전략을 최적화할 때 테스트할 여러 변수가 있음을 알 수 있습니다.
  • 변경 사항의 중요성을 효과적으로 평가하는 유일한 방법은 하나의 변수 분리하고 그 영향을 측정하는 것입니다. 예를 들어 동영상 플레이스먼트의 보상 금액을 변경하면서 새 네트워크를 활성화 안 됩니다.
• 테스트하려는 변수 일괄 변경 사항을 적용합니다.
  • KPI와 일치하는 B 그룹의 동일한 변수 대한 여러 변경 사항을 테스트합니다. 예를 들어 실시간 피벗 지연 보고서를 사용하여 지연이 높은 인스턴스를 식별하는 경우(변수) 폭포 지연이 높은 것으로 의심되는 여러 네트워크를 제거합니다. 
• DAU가 매우 낮은 앱 테스트하지 마십시오.
  • 데이터 기반 비즈니스 결론에 도달률 위해 앱 레벨에서 최소한 15,000개의 DAU를 보유해야 합니다.
• 최소 3일, 최대 14일 동안 테스트합니다.
  • 이렇게 하면 B 그룹의 학습을 충분히 수행할 수 있으며, 다른 변수를 빠르게 연속해서 테스트할 수 있습니다.
• A 그룹을 그대로 둡니다.
  • 테스트하려는 변수 식별한 후 컨트롤 그룹(그룹 A)을 변경하지 않고 둡니다. A 그룹의 설정은 현재의 광고 전략으로 이미 존재합니다.
  • B 그룹에서만 변경하여 현재 전략에 도전하고 결과를 비교해야 합니다.

A/B 테스트가 실행되는 동안 베스트 프랙티스

• 실시간으로 결과 보기: 실시간 피벗 A/B 대시보드로 이동하여 테스트가 실행 중인지 확인하고 실시간으로 결과를 확인합니다.
• 테스트 데이터 모니터링: A/B 대시보드를 사용하여 데이터를 추적하여 변경한 결과로 인해 너무 큰 문제가 발생하지 않도록 합니다. 
• 50/50 분할 테스트를 변경하지 마십시오.: 50/50 분할 테스트 중에 B 그룹을 변경하지 마십시오. 다른 가정을 테스트하거나 현재 테스트를 약간 수정하려면 테스트를 종료하고 다른 테스트를 시작합니다. 다른 트래픽 할당으로 테스트를 시작한 경우 테스트 시작 후 24시간 이내에 변경 사항을 적용하지 마십시오. 이는 중요하며 분석을 위해 데이터를 정리하고 깨끗하게 유지하는 데 도움이 됩니다.

결과 분석 성공 사례

• 데이터 살펴보기: A/B 대시보드를 결과 분석의 시작점으로 사용합니다. 테스트를 시작하기 전에 설정한 KPI에 따라 두 그룹의 데이터와 성과를 비교합니다. 더 자세히 알아보려면 대시보드에 연결된 성과 및 집단 보고서를 검토하십시오. 
• ARPDAU를 안내 광원으로 사용하십시오. 어떤 그룹을 계속할지 결정하는 데 필요한 주요 지표는 ARPDAU입니다. 일간 액티브 사용자 평균 매출 분석하여 테스트 그룹의 변경 사항 이후 앱에서 사용자 동작 확인합니다. 다른 지표 신규 사용자나 사용자 확보 영향을 미칠 수 있지만, ARPDAU를 사용하면 기존 사용자의 모든 동작 전략에 대한 반응을 보다 명확하게 파악할 수 있습니다.

• 적절한 시점에 적절한 데이터를 확인합니다. B 그룹에 모든 변경 사항이 적용된 후에만 결과를 분석하여 모든 변경 사항의 영향을 확인할 수 있습니다. 또한 분석에서 테스트 첫날을 제외해야 합니다. A/B 트래픽 할당자 테스트 기간 동안 테스트 그룹의 트래픽 5개 이상 또는 더 적게 할당하는 경우, 테스트 결과를 모두 얻을 수 있도록 최소 24시간 전에 대기해야 합니다.
• 일일 데이터 무시: 가정을 테스트할 때는 일일 변경이 아닌 장기적인 개선을 목표로 합니다. 일일 성과가 변동적일 수 있으므로 전체 테스트의 데이터를 일일로 나누지 않고 분석합니다.
• 앱 트렌드 후 테스트 종료 후 추적: 테스트가 끝난 후 2주 후에 테스트된 앱의 A/B 대시보드로 돌아와서 초기 A/B 테스트의 진행 중인 결과를 분석합니다. 이를 통해 테스트의 지속성과 장기적 효과를 학습할 수 있습니다.