A/B 테스트는 대표적인 정량적 테스트 기법입니다. 데이터를 근거로 새로운 기능, 새로운 디자인, 새로운 사용자 행동을 살피는 간단한 도구죠.
작동 방식은 이렇습니다. 일부 사용자 그룹에 'A'에 해당하는 기능 혹은 디자인을 보여줍니다. 다른 그룹에는 'B'에 해당하는 기능 혹은 디자인을 보여줍니다. 그다음, 두 그룹의 데이터를 비교 분석합니다. 결괏값이 더 좋거나 유의미한 결과를 보여주는 방향을 채택해 제품에 적용합니다.
A/B 테스트는 특히 제품 성장이나 마케팅 가설을 검증에 많이 사용됩니다. 우리는 A/B 테스트를 통해 아래의 질문에 대답할 수 있습니다.
우리 고객은 어떤 행동 패턴을 보이며, 무엇에 반응할까?
우리가 어떤 제품을 만들어야 할까?
우리 제품의 방향성을 어느 쪽으로 수립해야 할까?
특히 A/B 테스트를 통한 결과로 우리 제품이 어떤 방향으로 가야 한다는 것을 팀에 설명할 수 있는 PM은 단순한 추상이나 혹은 직관에 의해 결정을 내리는 것보다 제품에 대한 좋은 결과를 가져올 가능성이 높고, 제품의 방향성을 팀에 설득할 때도 용이할 수 있습니다.
A/B 테스트의 필요성과 중요성에 대한 공감대는 이미 넓습니다. 그렇지만 A/B 테스트를 설계하고 팀원을 설득해 실행으로 옮기는 방법은 충분히 알려지지 않았습니다. 많은 PM이 체계적인 테스트 설계에 어려움을 호소합니다.
'효과는 이해하지만, 테스트도 결국 일이잖아요.' A/B 테스트 또한 업무 리소스가 드는 일이기에 원한다고 다 실험해볼 수 없는 게 현실입니다. A/B 테스트 설계 문서는 이러한 어려움을 덜어주기 위해 제작되었습니다.
처음에는 생소할 수 있고, 번거롭게 느껴질 수도 있지만 설계 문서 작성에는 다음과 같은 이점이 있습니다.
우리가 '무엇을', '어떻게', '왜' 해야 하는지 팀원의 공감을 얻기 수월합니다.
추후 제품의 기능이나 방향성을 설정할 때 참고 자료가 됩니다.
A/B 테스트 설계 문서를 토대로 테스트 결과를 분석하고 공유할 수 있습니다.
테스트 프로세스에 기준점을 제시해줍니다. 테스트 진행 전후에 발생하는 추가 작업의 리소스를 줄여줍니다.
지금부터 A/B 테스트를 위한 설계 문서를 어떻게 만들면 되는지 실제 예시를 들어 소개하려고 합니다.
테스트해, 말아? 임팩트 판단하기
PM은 다음의 질문을 반복합니다. "정말 해결 또는 개선할 필요가 있는 문제일까?", "임팩트가 클 것인가?" 이는 문제와 아이디어를 정의하고 검증하는 과정에 있는 질문들입니다. PM은 A/B 테스트라는 카드를 꺼내, 리스크를 최소화하면서 궁금증을 해결하고 가설을 검증합니다.
'리스크를 최소화하면서 우리의 아이디어가 실제로 효과 있는 것인지 검증해준다.', 이것이 A/B 테스트의 핵심 장점입니다. 사용자는 테스트 진행되고 있다는 사실을 모르기에 실제 배포 또는 출시 이후와 같은 반응을 엿볼 수 있습니다. 정확한 사용자 행동 데이터를 확보할 수 있는 셈입니다.
A/B 테스트는 크게 디스커버리 단계와 딜리버리 단계로 구분됩니다. 디스커버리는 '제품 발견 테스트'로, 일반적으로 큰 기능 단위에서 진행합니다. 딜리버리는 '제품 최적화 테스트'라고 불리며, 작은 단위나 표면적인 개선에 사용합니다. (디스커버리와 딜리버리에 대한 자세한 설명은 여기에서 보실 수 있습니다.)
두 가지 테스트의 설계 문서는 동일한 방법으로 작성합니다. 물론, 디스커버리가 딜리버리보다 규모가 큰 만큼 내용이 더 자세하고 분량이 길 수 있으나 문서 작성 방법 자체는 같습니다.
A/B 테스트 설계 문서 작성하기
A/B 테스트 설계문서가 무엇인지, 어떻게 작성해야 하는지를 살펴볼 차례입니다. A/B 테스트 설계문서에는 다음과 같은 내용이 포함됩니다.
'왜' 진행해야 하며, '어떤 가설'을 검증하기 위해서 사용되며, '어떻게' 만들어야 하는지, 결과적으로 '어떤 목표'를 달성하고 싶은지, '실험 진행 및 데이터'는 어떻게 수집할지.
그래서 PRD*의 형태와 유사하게 설계 문서를 작성할 수 있습니다. A/B 테스트 설계문서의 기본 목차는 아래와 같습니다.
