실전: A/B 테스트 시행 8단계

이번 챕터에서는 실전에서 어떤 절차에 따라 A/B 테스트를 시행해야 하는지 다루겠습니다. 단순히 A안과 B안을 만들어서 두 안의 결과를 비교하는 것이 아니라, 목표를 설정하고 우선순위를 정하는 등의 과정을 거치면 더 임팩트 있는 실험을 할 수 있습니다.

 

1. 목표 설정하기

가장 먼저, 무엇을 위해 테스트를 하는지 목표를 설정해야 합니다. 이를 위해서는 우리 사업이 성장하고 성공하기 위해서 무엇을 해야 하는지 생각해야 합니다.

 

조금 막연한가요? 퍼널(funnel) 개념*을 적용하면 생각을 구체적으로 하는 데 도움이 됩니다. 퍼널의 어느 단계에 집중할지, 특히 해당 단계에서도 어떤 지표를 높이는 데 집중할지 목표를 설정하는 것이죠.

* 퍼널(funnel)이란 고객이 서비스를 알게 되고, 서비스에 유입되고, 구매하고, 재구매하는 등의 과정을 깔때기에 빗댄 개념입니다. 각 단계를 지나면서 사용자들이 이탈하므로, 아래로 갈수록 좁아지는 깔때기와 같다 하여 붙은 이름입니다.

 

어떤 경우에는 새로운 사용자를 획득하는(acquisition) 것이 가장 중요할 수도 있고, 어떤 경우에는 리텐션(retention)이 중요할 수도 있고, 어떤 경우에는 활성화(activation)가 중요할 수도 있습니다. 꼭 언제 뭘 해야 한다고 정해진 답은 없고, 우리 사업에 중요한 것이 무엇인지 스스로 판단을 내려야 합니다.

 

2. 아이디에이션(ideation)하기

목표를 설정했다면, 어떤 테스트를 통해서 목표를 달성할 것인지 정해야 합니다. 고객 획득을 위한 테스트라면 광고의 크리에이티브를 변경해서 테스트해 볼 수 있고, 랜딩 페이지 전환율을 높이는 테스트라면 페이지의 각종 구성 요소들(헤드라인, 문장, CTA 버튼 등)을 변경해서 테스트해 볼 수 있습니다. 리텐션을 위한 테스트라면 제품 사용 경험에 변화를 가하며 테스트할 수 있습니다.

 

테스트 아이디어를 낼 때 염두에 두어야 할 점은, 너무 자잘한 테스트는 성과에 영향을 주기 어렵다는 점입니다. A/B 테스트를 소개할 때 많이 사용하는 사례 중, '버튼 색 하나를 바꿨더니 클릭이 엄청나게 늘어났다'라든지 '문구 하나를 바꿨더니 전환율이 높아졌다'와 같은 이야기들도 있습니다. 운이 아주 좋으면 이렇게 작은 변화가 큰 개선을 안겨 줄 수도 있지만, 많은 경우 작은 변화는 의미 있는 결과를 내지 못합니다.

 

물론 아마존이나 구글처럼 사용자 수가 엄청나게 많은 회사라면 테스트를 통해 지표를 0.1%만 개선하더라도 큰 이익을 거둘 수 있겠지만, 초기 스타트업에게는 그 정도로 작은 개선은 별 의미가 없습니다.