광고가 없었어도 팔렸을 것들

인크리멘탈리티(증분) 테스트와 통제군 실험 설계

라스트 클릭이든 데이터 기반이든 어트리뷰션 모델이 공통적으로 지닌 근본적 한계는 상관관계와 인과관계를 구분하지 못한다는 점이다. 광고 클릭 이후 전환이 발생했다는 것이 반드시 '광고가 전환을 만들었다'는 뜻은 아니며, 이미 구매 의향이 높은 사용자는 광고를 클릭하지 않았어도 결국 구매했을 수 있기 때문이다. 이처럼 광고가 없었어도 자연적으로 발생했을 전환, 곧 자연 전환(organic conversion)을 광고의 성과로 계산하는 것을 '어트리뷰션 편향(attribution bias)'이라 하며, 인크리멘탈리티 테스트는 이 편향을 제거하고 광고가 순수하게 추가로 만들어 낸 증분 전환(incremental conversion)만을 측정하는 방법론이다.

인크리멘탈리티 테스트의 설계 원리는 A/B 테스트와 같다. 타겟 오디언스를 무작위로 두 집단으로 나누어 실험군에는 광고를 정상 노출하고 통제군(hold-out group)에는 광고를 완전히 차단하거나 브랜드 중립적인 공익 광고를 노출한 뒤, 일정 기간 후 두 집단의 전환율을 비교하면 그 차이가 광고에 의해 순수하게 유발된 증분 전환율이 된다. 증분 ROAS(iROAS)는 실험군 전환에서 통제군 전환을 뺀 값을 광고비로 나누어 계산하며, 이 값이 어트리뷰션 ROAS와 크게 다를 경우 어트리뷰션 모델이 전환을 과대 또는 과소평가하고 있다는 뜻이 된다.

인크리멘탈리티 테스트의 실행 방식은 세 가지로 구분된다. 첫째, 사용자 수준 홀드아웃 실험은 동일 플랫폼 안에서 특정 오디언스 세그먼트를 광고 노출에서 제외하는 방식으로, Facebook의 홀드아웃 테스트 기능과 Google Ads의 실험 기능이 이에 해당한다. 둘째, 지역 분할 실험(geo lift test)은 특정 지역에는 광고를 집행하고 비교 가능한 다른 지역에는 집행하지 않는 방식으로, 사용자 수준 분리가 불가능할 때 유용하며 TV 광고나 옥외광고의 효과 측정에 활용된다(Vaver & Koehler, 2011). 셋째, 시간 기반 실험은 특정 기간 광고를 완전히 중단하고 전후의 전환 데이터를 비교하는 방식으로 장기 광고 효과 측정에 활용된다.

인크리멘탈리티 테스트를 실행할 때의 핵심 과제는 통제군 오염 방지이다. 사용자 수준 분리에서는 동일 사용자가 실험군과 통제군에 모두 속하는 경우를 막아야 하며, 지리적 분리에서는 광고 집행 지역과 비집행 지역이 실질적으로 비교 가능한지를 검증해야 하는데, 실험군 지역이 통제군 지역에 비해 인구 구성·소득 수준·경쟁 환경이 체계적으로 다르다면 전환율 차이가 광고 효과가 아니라 지역 특성의 차이에서 비롯될 수 있기 때문이다. 합성 통제(synthetic control) 방법은 여러 통제 지역을 가중 결합해 실험 지역과 최대한 유사한 가상의 반사실을 구성함으로써 이 문제를 해결한다(Abadie et al., 2010).

인크리멘탈리티 테스트와 어트리뷰션 모델의 결과를 비교하면 기존 어트리뷰션 체계의 정확성을 진단할 수 있다. 예를 들어 라스트 클릭 어트리뷰션으로 측정한 리타게팅 캠페인의 ROAS가 5.0인데 홀드아웃 실험으로 측정한 iROAS가 1.2라면, 리타게팅 광고가 실제로 만든 증분 전환은 어트리뷰션 전환의 20% 수준에 그친다는 뜻이며, 이 발견은 리타게팅 예산을 줄이고 신규 고객 획득 채널로 재배분하는 전략적 의사결정의 직접적 근거가 된다. 인크리멘탈리티 테스트가 주기적으로 실행되는 조직에서는 어트리뷰션 모델이 아니라 iROAS를 채널 효율의 실질적 기준으로 삼는 것이 가능해질 것이다.

어트리뷰션과 인크리멘탈리티의 통합적 활용

어트리뷰션 모델과 인크리멘탈리티 테스트는 상호 보완적 역할을 한다. 어트리뷰션 모델은 매일, 매주 단위로 채널 성과를 모니터링하고 빠른 운영 의사결정을 지원하는 데 유용한 반면, 인크리멘탈리티 테스트는 실행 비용이 높고 결과 도출에 시간이 걸리지만 어트리뷰션 모델이 제공하는 성과 수치의 신뢰성을 주기적으로 교차 검증하는 데 필수적이다. 따라서 실무에서는 어트리뷰션으로 일상적 운영을 하되 분기 또는 반기 단위로 주요 채널에 대한 인크리멘탈리티 테스트를 실행해 어트리뷰션 모델의 정확성을 보정하는 이중 검증 체계가 효과적이다.

MMM 역시 이 이중 검증 체계에 통합될 수 있다. MMM은 쿠키가 없는 TV·옥외광고·검색 이전 인지 단계 광고의 효과를 측정하는 데 강점이 있고 인크리멘탈리티 테스트는 디지털 채널의 단기 기여도를 검증하는 데 강점이 있으므로, 두 방법을 병행하면 디지털과 비디지털을 포함한 전체 미디어 믹스의 효과를 통합적으로 진단할 수 있다. Google과 Meta 등 주요 플랫폼도 MMM(거시), 인크리멘탈리티 테스트(중간), 어트리뷰션(미시)을 서로 보정하며 함께 쓰는 3중 측정 체계를 권장하고 있다(Google, 2024). 이러한 통합적 측정 체계를 구축하는 것은 중소 규모 조직에는 여전히 도전적인 과제인데, MMM은 데이터 사이언티스트의 역량과 충분한 히스토리 데이터를 요구하고 인크리멘탈리티 테스트는 플랫폼 접근 권한과 실험 기간 동안의 전환 손실을 감내해야 하기 때문이다. 그러나 Meta Robyn·Google Meridian, 그리고 Statsig·Eppo 같은 실험 플랫폼의 등장으로 이 도구들에 대한 접근 장벽이 낮아지고 있으며, 정교한 측정 체계를 갖춘 조직일수록 동일한 예산으로 더 높은 증분 전환을 만들어 내는 구조적 우위를 확보한다는 점에서 이 투자의 장기적 가치는 분명한 것으로 판단된다.

참고문헌

• Abadie, A., Diamond, A., & Hainmueller, J. (2010). Synthetic control methods for comparative case studies: Estimating the effect of California's tobacco control program. Journal of the American Statistical Association, 105(490), 493–505. https://doi.org/10.1198/jasa.2009.ap08746
• Google. (2024). Modern measurement playbook: How to use media effectiveness measurement to make better business decisions. Think with Google. https://www.thinkwithgoogle.com/_qs/documents/18393/For_pub_on_TwG___External_Playbook_Modern_Measurement.pdf
• Vaver, J., & Koehler, J. (2011). Measuring ad effectiveness using geo experiments. Google Research. https://research.google/pubs/measuring-ad-effectiveness-using-geo-experiments/