실험을 시작하기 전에 정해야 하는 숫자

MDE(최소 검출 가능 효과)와 표본 크기 산출

A/B 테스트를 설계하기에 앞서 반드시 정해야 하는 것은 이 실험으로 검출하고자 하는 최소한의 효과 크기, 즉 MDE(minimum detectable effect)이다. MDE는 통계량이 아니라 실험의 목적과 비즈니스적 의미를 반영해 정하는 값이다. 예를 들어 현재 랜딩 페이지 전환율이 3.0%인 캠페인에서 '전환율이 최소 0.3%p, 즉 3.3% 이상 개선될 때만 소재를 교체하겠다'는 기준이 있다면 MDE는 절댓값 기준 0.003이 되며, 이 값이 필요한 표본 크기를 결정한다.

n = 2 · (z_{α/2} + z_β)² · p(1 − p) / δ²

필요 표본 크기(n)는 위와 같은 공식으로 근사 추정된다. 여기서 z_{α/2}는 유의수준 α에 대응하는 표준 정규 분포의 임계값(α = 0.05인 경우 1.96), z_{β}는 검정력(1-β)에 대응하는 임계값(검정력 80%인 경우 0.84), p는 기준 전환율, δ는 탐지하고자 하는 효과 크기(MDE)이다. 전환율 3%, 검정력 80%, α = 0.05, MDE = 0.3%p를 대입하면 각 집단에 약 5만 명의 표본이 필요한데, 이 공식의 핵심 함의는 MDE를 절반으로 줄이면 필요 표본 크기가 4배로 늘어난다는 것이다.

이 계산을 실제 실험 설계에 적용해 보면 다음과 같다. 앞서의 예시(전환율 3%, 검정력 80%, MDE 0.3%p, A안·B안 필요 표본 각 5만 명)에서 랜딩 페이지의 일평균 유입이 4,000명이라면 실험 기간은 최소 25일이 되며(테스트에 필요한 10만 명 표본을 하루 4천 명 유입으로 채워야 하므로) 요일 효과를 통제하기 위해 주 단위로 맞추면 4주가 된다. 한편 일정상 2주 안에 결론을 내야 한다면 같은 트래픽으로 탐지할 수 있는 효과는 0.45%p 수준으로 커지므로, 그보다 작은 개선은 이 실험으로는 확인할 수 없다는 점을 설계 단계에서 받아들여야 한다.

<그림 4-4-1>은 기준 전환율과 MDE에 따라 집단당 필요 표본 수가 어떻게 달라지는지를 나타낸 것인데, 세로축이 로그 눈금임에도 곡선이 가파르게 올라가는 데서 알 수 있듯이 MDE를 조금만 줄여도 표본 요구량은 급격히 늘어난다. 실험 전에 정해야 하는 것은 결국 '얼마나 작은 차이까지 의미 있게 볼 것인가'라는 판단이며, 이 판단이 서면 표본 수와 기간은 계산으로 따라온다. 플랫폼의 실험 도구가 '더 많은 데이터 필요'라는 판정을 내렸을 때 실험을 얼마나 더 이어갈지도 이 값이 있어야 결정할 수 있을 것이다.

<그림 4-4-1> 기준 전환율과 MDE에 따른 집단당 필요 표본 수

출처: 유의수준 5%·검정력 80% 기준 필자 계산

MDE 설정은 통계적 계산인 동시에 비즈니스 판단이다. 전환율 0.1%p 개선을 탐지하기 위해 수개월의 실험 기간이 필요하다면 그 기간 동안 다른 실험을 실행하지 못하는 기회비용을 따져야 하며, 반대로 전환율이 조금만 개선되어도 연간 수억 원의 매출 증가로 이어지는 대규모 캠페인이라면 작은 MDE도 정당화된다. 따라서 실무에서 MDE는 '이 정도 개선이 있어야 실제 집행 전략을 바꾸겠다'는 기준으로 비즈니스팀과 사전에 합의하는 것이 원칙이다.

검정력 부족(underpowered)은 미디어 A/B 테스트에서 가장 흔한 오류 가운데 하나이다. 트래픽이 충분하지 않은 상황에서 A/B 테스트를 실행하면 실제로 더 나은 버전이 있더라도 이를 통계적으로 탐지할 검정력이 부족해 '유의미한 차이 없음'이라는 잘못된 결론에 이르게 되며, 이는 좋은 소재나 랜딩 개선안을 폐기하는 기회비용으로 이어진다. 트래픽이 부족한 매체나 캠페인에서는 MDE를 더 크게 설정해 필요 표본 크기를 줄이거나, 실험 기간을 충분히 길게 잡거나, 더 큰 트래픽이 확보되는 시점까지 실험을 보류하는 것이 합리적일 것이다.

Google의 실험(Experiments) 기능, Meta의 A/B 테스트 기능, 카카오의 크리에이티브 실험 기능처럼 광고 플랫폼이 제공하는 자동화 실험 기능을 사용할 때도 동일한 통계적 원칙이 적용된다. 이러한 광고 플랫폼들은 실험 결과 화면에서 '통계적으로 유의함' 또는 '더 많은 데이터 필요'라는 판정을 자동으로 제공하지만, 그 판정의 기반이 되는 유의수준과 검정력이 어떻게 설정되어 있는지를 이해하고 확인하는 것은 전문 마케터의 역량이다. 광고 플랫폼이 결과를 일방적으로 제시하더라도 효과 크기가 비즈니스적으로 의미 있는 수준인지는 해당 마케팅 전략을 담당하는 마케터가 독립적으로 판단해야 한다.