좀 더 빠르게 vs 좀 더 완벽하게, 퍼블리 PM의 선택은?

[Intro] 중요한 것들 사이 더 중요한 것

퍼블리 PM 지원(👩🏻‍💼)은 4분기 사업계획이 적힌 문서를 보며 10분째 생각에 잠겨 있다. 4분기의 주요 프로젝트로 결정된 건 3개. 퍼블리 멤버십의 성장을 위해 하나같이 중요한 것들이다.

• 무료체험 후 유료결제 전환율 높이기
• 결제 페이지에서 결제 전환율 높이기
• 고객 재결제율 높이기

지원의 고민은 우선순위다. 이 중에서 가장 중요한 게 뭘까. 팀의 리소스는 정해져 있기 때문에 모두 다 할 수는 없다. 다음 주 작업 선정 회의 전까지, 가장 중요하고 시급한 프로젝트를 선택해야 한다. 다시 하나씩 뜯어보자.

'무료체험 후 유료결제 전환율 높이기'는 지난 스프린트에서 이 목표를 달성하기 위한 실험을 이미 진행 중이다. A/B 테스트를 통해 고객 반응을 보고 있기 때문에, 그 결과를 보고 나서 넥스트 스텝을 고민해도 늦지 않을 것이다. 일단 이건 패스.

남은 건 2개다.

• 결제 페이지에서 결제 전환율 높이기
• 고객 재결제율 높이기

둘 중에 더 중요한 건 뭘까. 앰플리튜드에 접속해 '멤버십 고객 수 추이' 그래프를 다시 한번 보자. 신규 가입 고객이 늘어나고 있다는 건 고무적인데, 최근 들어 해지 고객 수도 그 못지않게 증가해 전체 고객 수가 몇 주째 정체에 빠져 있다.

멤버십 성장을 위해 필요한 걸 단순하게 말하면 딱 2가지다. 1)가입 고객을 늘리는 것, 2)해지 고객을 줄이는 것. '결제 페이지에서 결제 전환율 높이기'는 1)을 위한 솔루션이고, '고객 재결제율 높이기'는 2)를 위한 솔루션. 그리고 지금 더 시급한 문제는 해지 고객이 좀처럼 줄지 않는다는 것.

머릿속이 좀 선명해졌다. 4분기는 '고객 재결제율 높이기'에 집중해 해지 고객을 줄인다!

해지 고객을 줄이기 위해서는 무엇부터 해야 할까. 다시 우선순위다. 할 건 많은데 뭐가 가장 중요한지는 모르겠다.

그때 슬랙에 메시지 하나가 떴다. 인턴 세희(👶)가 이번 달 해지 고객 설문조사 결과를 공유했다.

👶 세희 인턴: 이번 달에도 고객들이 가장 많이 꼽은 해지 이유는 '자주 이용 안 함'이었습니다.

그러고 보니 해지 이유 상위권에는 항상 '자주 이용 안 함'이 있었다. 기껏 돈 내놓고 고객들은 왜 자주 이용을 안 할까? 우리 서비스를 어떻게 개선하면 자주 이용하게 될까? 이 질문에 대한 답을 찾아야 한다. 우리 멤버십의 고질적인 문제, '자주 이용 안 함'을 뽀개지 않고는 떠나는 고객을 잡기 힘들 것이다.

이번 분기, 우리가 1순위로 해결해야 할 문제가 정해졌다.

지원은 팀원들에게 다음 주에 있을 작업 선정 회의를 공지했다.

👩🏻‍💼 지원 PM: 이번 스프린트에서 뽀갤 문제는 단골 해지 사유인 '자주 이용 안 함'입니다.

 

다음 주 작업 선정 회의 전까지, 멤버십을 자주 이용하게 하는 데 있어 가장 임팩트가 클 것 같은 솔루션을 회의록에 적어주세요. 논의 후 하나의 솔루션을 정해 스프린트 진행하도록 하겠습니다.

[1단계] 작업 선정 회의

작업 선정 회의가 열렸다. 팀원들이 적어둔 솔루션을 보기 전에, 먼저 '자주 이용 안 함'이란 문제부터 좀 더 뜯어보기로 했다. 퍼블리 멤버십을 자주 이용하지 않게 되는 이유는 뭘까. APM* 지우(👨🏼‍💻)가 고객 입장에서 의견을 던진다.

* Associate Product Manager

👨🏼‍💻 지우: 우리 멤버십은 일 관련 고민을 텍스트로 해결해주는 서비스잖아요. 근데 이 '일'과 '텍스트'라는 게 막 중독성 있는 분야는 아닌 것 같아요. 일 얘기보다는 소설이나 에세이가 더 재밌고, 텍스트 읽는 것보다는 유튜브로 영상 틀어놓거나 SNS 보는 게 더 편하니까. 일 잘하는 법에 대한 아티클이라고 하면, 뭔가 각 잡고 봐야 하는 느낌이 들어요.

👶 세희 인턴: 고객들이 자주 하는 얘기가 '퍼블리는 공부하는 느낌이 드는 서비스'라는 건데요. 공부를 자주 안 하게 되는 건 너무 당연한 일 아닐까요... 서비스 특성상 어쩔 수 없는 것 같긴 해요. 그렇다고 너무 짧거나 흥미 위주로만 만들면 깊이 없는 콘텐츠가 나올 위험이 크고...

👩🏻‍💼 지원 PM: 그럼 우리 같은 서비스는 어떻게 하면 자주 이용할까요?

👨🏼‍💻 지우 APM: 공부나 헬스처럼 너무 하기 싫지만 꼭 해야 하는 것들이 있어요. 근데 억지로라도 학원에 가면 공부를 하게 되고, 헬스장을 끊어놓으면 운동을 하게 되잖아요. 그러면서 공부하는 습관, 운동하는 습관이 생기기도 하고요. 이런 건 자주 이용하려면 누가 등을 떠밀어줘야 하는 것 같아요.

👩🏻‍💼 지원 PM: 등을 떠밀어줘야 한다... 어떻게 등을 떠밀어야 퍼블리에 들어와 아티클을 읽는 습관이 생길까요? 그럼 이쯤에서 팀원들이 적어둔 솔루션들을 한 번 볼까요?

👩🏻‍💼 지원 PM: 여러 가지 솔루션을 잘 적어주셨는데요. 이 중에서 습관 형성에 가장 도움이 될 만한 솔루션은 뭘까요?

👨🏼‍💻 지우 APM: 보통 습관은 '트리거 > 액션 > 보상 > 투자'의 4단계를 반복하면서 형성된다고 들었어요. 그중에서도 가장 많은 사용자에게 닿을 수 있는 단계가 '트리거'이고요. 위 솔루션 중 형광펜/메모나 칭찬 메시지는 '보상'에 해당되는 것 같아요. 관심 저자 알림이랑 앱 푸시가 '트리거' 단계라고 볼 수 있겠네요.

👩‍🎨 나온 PD: '관심 저자 알림'은 따로 설정해둔 사람에게만 트리거를 줄 수 있으니까, 좀 더 임팩트가 큰 건 앱 푸시 아닐까요?

👶 세희 인턴: 주기적으로 푸시를 보내 등을 떠밀어주면... 적어도 퍼블리를 잊어버리진 않겠네요!

👩🏻‍💼 지원 PM: 앱 푸시를 보내서 주기적으로 퍼블리를 인지하게 할 수는 있는데... 실제로 고객들이 푸시를 많이 열어볼까요? 열어보지 않을 푸시를 자꾸 보내면 오히려 고객 경험이 나빠질 수도 있을 텐데.

👨🏼‍💻 지우 APM: 지금 앰플리튜드로 지표를 보니까요... 푸시를 허용한 고객이 허용하지 않은 고객에 비해 페이지뷰가 2배나 높아요!

👩‍🎨 나온 PD: 오? 그 정도로 높을 줄은 몰랐는데? 생각보다 푸시의 임팩트가 더 크네요!

👩🏻‍💼 지원 PM: 좋아요. 이번 작업은 이렇게 정리할게요.

 

앱 푸시를 보내 아티클 읽기 습관을 만들어준다. 그럼 고객들은 더 자주 서비스를 이용하게 될 거고, 해지 고객 수는 줄어들 것이다.

첫 작업 선정 회의가 끝났다. 회의를 진행할 때 지원은 의식적으로 본질적인 질문을 던지려 한다. 여러 가지 솔루션이 나오다 보면 애초의 목적지를 잃어버리기 쉬우니까. 좋은 질문은 최단거리를 찾아내는 내비게이션과 같다.

이젠 다음 단계를 준비해야 한다. '푸시'라는 키워드가 나온 만큼, 고객들이 더 자주 서비스를 이용하게 하려면 이 푸시를 어떻게 보내야 할지 좀 더 디테일한 논의가 필요하다.

[2단계] 솔루션의 방향을 결정하는 PM&PD 싱크 미팅

신규 가입자들의 푸시 허용률을 어떻게 높일 수 있을지, 푸시의 부작용은 없을지, 어느 단계에서 푸시를 설정하도록 유도할 것인지... 아직 결정해야 할 게 산더미다. 그걸 정하는 게 PM과 PD의 싱크 미팅이다.

싱크 미팅을 진행하기 전에, 지원은 지난 작업 선정 회의를 떠올리며 PCD(Product Context Document)*를 작성했다.

* PCD의 목적은 이번 스프린트에서 해결하고자 하는 문제가 무엇인지, 작업의 맥락(Context)을 명시함으로써 팀원 간 생각의 싱크를 맞추기 위함이다. 그래야 PM, PD, 엔지니어 등 다양한 역할을 맡은 팀원들이 최적의 솔루션을 발견할 수 있으니까!

PD 나온은 싱크 미팅에서 결정해야 할 아젠다를 가져왔다. PCD 회의를 진행하기 전에 방향성을 정해둬야 할 것들이다.

👩‍🎨 나온 PD: 제가 가장 걱정되는 건, 푸시를 귀찮아하는 사람들이에요. 푸시가 짜증나서 알림 설정을 꺼버리는 사람도 많고, 앱을 삭제해버리는 사람도 있더라고요. 이번 작업의 임팩트가 크려면 더 많은 사람들이 푸시를 설정하게 해야 할 텐데...

👩🏻‍💼 지원 PM: 제가 데이터를 확인해보니 지금 푸시 설정 비율이 64% 정도에 불과하더라고요. 푸시가 짜증나는 이유는 뭘까요?

👨🏼‍💻 지우 APM: 다른 앱에서는 보통 푸시로 광고를 내보내잖아요. 그런 게 여러 개 쌓여 있다 보니, 푸시 자체가 '날 귀찮게 하는 존재'로 인식되는 것 같아요.

👩🏻‍💼 지원 PM: 중요한 포인트네요! 그럼 "퍼블리를 더 잘 이용할 수 있도록 도와준다"는 메시지로 푸시를 설정하도록 유도하면 어떨까요? 지난번에 푸시 설정 고객의 페이지뷰 지표를 봤을 때 실제로도 그렇고요!

👩‍🎨 나온 PD: 동의해요! 그리고 푸시가 짜증나는 이유를 하나 더 추가하자면, 한창 자고 있을 때 푸시 때문에 깨거나 푸시가 와서 집중력이 흐트러지는 걸 싫어하는 것 같아요.

👨🏼‍💻 지우 APM: 만약 원하는 시간에 원하는 주기로 푸시를 받을 수 있다면? 그럼 좀 낫지 않을까요?

👩‍🎨 나온 PD: 좋은 방법이긴 한데... 푸시 자체를 귀찮아하는 거라면 원하는 시간을 선택하는 과정도 허들이 될 수 있어서... 고객이 이 설정을 함으로써 뭘 얻을 수 있는지 명확하게 보여줘야 할 것 같아요.

👩🏻‍💼 지원 PM: 핵심 메시지는 2가지겠네요. 첫째, 원하는 시간을 설정해두면 당신이 필요할 때 푸시를 받아볼 수 있다. 둘째, 푸시 설정하면 퍼블리 서비스를 더 잘 이용할 수 있다.

👩‍🎨 나온 PD: 좋습니다. 그리고 어느 단계에서 푸시 허용을 유도할지에 대해 생각해봤는데요. 2가지 옵션이 있을 것 같아요. 1)멤버십을 결제하자마자 웹에서 보여주기, 2)앱을 다운받고 로그인하자마자 보여주기.

👨🏼‍💻 지우 APM: 전 앱에서 보여주는 게 좋을 것 같아요. 앱에서 푸시를 설정하는 게 더 자연스럽기도 하고, 멤버십 결제 후에 바로 앱 다운로드를 유도하는 장치가 있으니까요.

👩🏻‍💼 지원 PM: 그럼 일단 앱을 다운받고 로그인하자마자 푸시를 설정하는 방향으로 한 번 시도해보고, 고객 반응에 따라 다시 개선하는 것으로 하죠. 오늘 미팅은 이 정도로 마칠까요? 다음 주 PCD 회의에서 봐요!

👩‍🎨 나온 PD: 수고하셨습니다!

푸시를 보낸다고 무조건 재결제율이 높아지진 않을 것이다. 우리가 보내는 푸시를 고객이 어떤 상황에서 어떻게 받아들일 것이냐, 언제 어떻게 푸시를 설정하게 할 것이냐에 따라 우리의 의도가 통할 수도 있고, 통하지 않을 수도 있다.

그래서 더더욱 디테일한 유저 스토리(user story)가 중요하다. PD 나온의 솔루션 초안이 나오면, 그걸 보면서 좀 더 구체적인 개선점을 생각할 수 있을 것이다.

[3단계] 작업 시작 전, 디테일을 확정하는 PCD 회의

PD 나온의 솔루션 초안이 완성되었다. '고객이 원하는 시간에 앱 푸시를 보낸다'라는 솔루션이 도출된 맥락과, 고객이 앱을 설정하고 받게 되는 과정을 문서로 정리했다. PM과 PD가 각각 이번 스프린트에서 해결할 문제와 솔루션 초안을 작성했으니, 이 문서를 바탕으로 PCD 회의를 진행한다.

PCD 회의에는 PD, PM, 소프트웨어 엔지니어가 모두 참석한다. 싱크를 맞춘다는 의미도 있지만, 중요한 건 '칼질'이다.

칼질은 말 그대로 작업의 범위 또는 크기를 줄이는 것이다. 처음부터 완벽한 제품을 만들겠다고 달려들면 속도를 낼 수 없다. 문제를 해결할 수 있을 정도의 핵심 기능만 갖춘 최소한의 제품(MVP, Minimum Viable Product)을 만들려면 불필요한 작업은 다 쳐내야 한다. 빠른 실험과 빠른 개선, 즉 애자일(agile)한 협업을 위해 칼질이 중요한 이유다.

그런데 무자비하게 칼질을 하다 보면, 반대로 핵심까지 잘라내버릴 위험이 있다. 한 명 정도는 '칼질파'의 반대편에 서서 핵심 기능을 지켜내기 위해 고민할 사람이 필요한데, 우린 그를 과학자라 부른다. 사다리타기를 통해, 소프트웨어 엔지니어 형준(👨🏽‍🔬)이 이번 스프린트의 과학자 역할을 맡게 되었다.

PD 나온이 솔루션 초안에 대해 간략히 설명하며 PCD 회의가 시작됐다.

👩‍🎨 나온 PD: 이번 솔루션의 가설은 '원하는 주기/시간/상황을 설정할 수 있게 하면 좀 더 많은 고객이 푸시를 설정할 것이다'입니다.

 

푸시 설정 시점은 앱을 다운받아 처음 실행했을 때로 설계했는데요. 현재 앱 온보딩 시스템이 따로 없기도 하고, 앱을 시작할 때 푸시 알림을 설정하는 것이 자연스러울 것 같아요.

👩🏻‍💼 지원 PM: 앱을 처음 실행한 사용자들은 어떤 단계를 거쳐 푸시를 설정하게 되나요?

👩‍🎨 나온 PD: '인트로 - 상황 선택 - 주기/시간 선택'의 3단계로 구성했습니다.

👨🏼‍💻 지우 APM: '인트로' 단계는 어떤 역할을 하나요? 꼭 필요하지 않은 단계는 가급적 줄이는 게 좋을 것 같아서요.

👩‍🎨 나온 PD: 인트로 단계를 따로 만든 이유는, '알림을 설정해라'는 메시지보다 '이 세팅을 통해 뭘 얻을 수 있는지'를 먼저 전달하기 위해서예요.

사용자가 어떤 기능을 사용하게끔 유도할 때 중요한 건 '이걸 하면 나한테 뭐가 좋은지'다. 그 부분을 설명하기 위한 인트로 단계를 맨 앞에 배치해 한 나온의 의도가 납득이 되었다.

👨🏼‍💻 지우 APM: 선택지로 주어지는 상황은 몇 가지 정도인가요?

👩‍🎨 나온 PD: 총 4가지인데요. 직장인 대상으로 출근길/퇴근길, 취준생까지 포괄할 수 있는 점심시간, 그리고 자기 전 옵션을 넣었습니다.

👨🏽‍🔬 형준 SE: 선택지가 너무 적은 건 아닐까요? 고객 인터뷰를 보면 '회사에서 생각이 막힐 때 본다', '카페에서 커피 나오는 거 기다릴 때 본다' 등 퍼블리 아티클을 읽는 시간이 다양하던데...

👩‍🎨 나온 PD: 맞아요, 상황 선택지가 다양하고 구체적일수록 습관 만들기에 도움이 될 것 같아요. 다만 선택지가 많을수록 선택이 느리고 어려워져 가능한 많은 사용자들이 포함될 수 있는 상황 4개로 선택지를 추렸어요. 이후 실험 결과가 잘 나오면 더 다양한 선택지나 '직접 입력' 기능도 고민해볼게요!

뭔가를 선택해야 할 때 사용자들은 많이 이탈하기 마련이다. 선택지가 너무 많으면 쉽게 결정을 못 내려서 이탈한다. 사용자가 '이거 완전 내 얘기야!'라고 느낄 만한 선택지를 구성하는 것도 중요하지만, 일단은 최대한 많은 사용자가 다음 단계로 넘어가는 것이 이번 실험에서는 더 중요하다.

👨🏼‍💻 지우 APM: 초안에는 30분 단위로 알림 설정을 할 수 있다고 되어 있는데, 고객들은 좀 더 디테일하게 설정하고 싶어 하지 않을까요?

👩🏻‍💼 지원 PM: 형준, 혹시 10분 단위로 설정할 수 있게 하려면 작업 리소스가 더 많이 드나요?

👨🏽‍🔬 형준 SE: 아뇨. 30분 단위랑 거의 차이 없을 것 같아요.

👩🏻‍💼 지원 PM: 그럼 10분 단위로 변경하죠! 첫 온보딩 과정이나 푸시 설정은 캄(Calm), 루티너리(Routinery) 같은 서비스를 참고해보시면 도움이 될 것 같아요!

푸시 설정까지는 어느 정도 정리가 되었다. 이젠 푸시를 받은 사용자의 '유저 스토리'를 그려볼 차례다.

👩‍🎨 나온 PD: 푸시 랜딩에 대해서도 생각을 좀 해봤는데요. 특정 콘텐츠를 홍보하는 푸시와 달리, 어느 페이지로 연결해줘야 할지 고민이 되더라고요. 프로필 기반으로 추천 콘텐츠를 연결해주거나 '이어서 보기*'에 있는 콘텐츠로 연결해주는 건 어떨까요?

* 퍼블리 제품의 기능 중 하나로, 아티클을 읽던 중 이탈했다가 다시 접속했을 때 읽던 위치로 안내해준다.

👨🏼‍💻 지우 APM: 그랬을 때 추천받은 콘텐츠가 맘에 들지 않으면, 푸시 경험 자체가 부정적으로 느껴지지 않을까요?

👨🏽‍🔬 형준 SE: 그리고 지금은 '이어서 보기'에 있는 콘텐츠 중에는, 마음에 들지 않아서 읽다 만 콘텐츠들도 있어요. 보고 싶지 않은 콘텐츠로 연결되는 것도 부정적인 경험일 텐데... 근데 이 문제는 유저가 '이어서 보기'에 등록되어 있는 콘텐츠를 삭제/수정할 수 있다면 해결되긴 하겠네요.

👩🏻‍💼 지원 PM: 음, 엔지니어링 리소스를 추가로 쓰지 않고 문제를 해결할 방법은 없을까요?

👩‍🎨 나온 PD: '마이 퍼블리'로 연결하는 건 어때요? 읽는 중인 콘텐츠, 나중에 읽으려고 북마크해둔 콘텐츠가 다 거기에 있으니 그중에서 독자가 읽고 싶은 걸 선택하게 하면 되지 않을까요?

👨🏼‍💻 지우 APM: 오... 그거 괜찮다! 장기적으로 봤을 때 마이 퍼블리를 자주 이용하도록 유도하는 게 읽는 습관 형성에도 도움이 될 것 같아요.

👶 세희 인턴: 근데 그럼 콘텐츠를 읽기까지 단계가 하나 더 추가되는 거잖아요. 푸시를 눌러서 콘텐츠가 바로 딱 보여도 읽을까 말까인데, '마이 퍼블리'가 나오면 무슨 액션을 해야 할지 독자들도 망설이게 되지 않을까요? 망설이다 보면 다시 이탈할 확률도 높아지고...

👨🏼‍💻 지우 APM: 지금까지 나온 솔루션 모두 장단점은 있는 것 같아요. 첫째, '이어서 보기'로 연결한다. 이건 바로 읽을 수 있지만 읽기 싫은 콘텐츠로 연결될 위험이 있어요. 둘째, '마이 퍼블리'로 연결한다. 이건 유저가 뭘 읽을지 선택할 수 있지만 그 과정에서 이탈할 위험이 있고요.

👩‍🎨 나온 PD: 첫 번째 방법은 '이어서 보기' 편집 기능을 추가하지 않고는 위험 부담이 클 것 같아요. 푸시를 눌러봤더니 마음에 안 들었던 콘텐츠가 다시 나온다? 그럼 '에이 이제 푸시 안 눌러. 아니 그냥 꺼버려야지'로 이어질 수 있으니까요.

👩🏻‍💼 지원 PM: 동의해요. 그럼 일단은 추가 개발 작업 없이도 가능한 두 번째 방법으로 확정하죠. 빠르게 실험해보고 결과를 봐야 개선도 빠르게 할 수 있으니까!

👩‍🎨나온, 👨🏼‍💻 지우, 👶 세희: 네, 좋아요.

👨🏽‍🔬 형준 SE: 작업시간 4시간 정도 줄였다!! (웃음)

엔지니어 리소스는 말 그대로 우리가 가진 한정된 자원(resource)이다. 이 자원을 얼마나 효과적으로 사용하느냐에 따라 사업의 성장 속도가 결정된다. 우리가 생각하는 효과적인 사용이란, '빠른 실험과 빠른 개선'이다. PCD 회의가 끝나고, 지원은 모니터에 포스트잇을 하나 더 붙였다.

[4단계] 디자인 시안 공유 및 피드백 반영

👩‍🎨 나온 PD: '습관 형성을 위한 앱 푸시' 디자인 시안 공유 드립니다. 내일 퇴근 전까지 피드백 부탁드려요!

PD 나온의 1차 디자인 시안이 완성됐다. 지원은 다시 한번 고객의 입장이 되어, 시안대로 푸시 설정 단계를 하나씩 따라가보면서 개선점을 체크한다. 문제를 해결하기 위해 중요한 요소들이 모두 포함되었는지, 고객 경험을 해치는 부분은 없는지.

👩🏻‍💼 지원 PM: 나온, 시안 잘 봤습니다. 고생 많으셨어요. 제가 보면서 좀 걸렸던 부분은 '상황 선택' 단계였어요. 이 화면이 딱 나왔을 때 유저 입장에서 물음표가 생기더라고요. '상황을 고르라고? 왜 골라야 하지?' 상황을 선택하면 나한테 뭐가 좋은지에 대해 좀 더 설명이 되면 좋겠어요.

👩‍🎨 나온 PD: 아... 그럴 수 있겠네요. 일잘러가 되기 위한 루틴을 만들 수 있다, 푸시를 설정한 고객들은 안 한 고개보다 몇 % 더 많이 읽는다, 이런 메시지가 좀 더 들어가야 할 것 같아요.

👨🏼‍💻 지우 APM: 그리고 정확히 뭐가 문제라고 콕 집어 말하기는 어려운데... 각 단계의 연결이 매끄럽지 않은 느낌이었어요. 고객도 이런 느낌을 받을 수 있지 않을까... 단계별 핵심 메시지를 다시 정리해보고, 필요하다면 거기에 맞춰 수정해보면 어때요?

👩‍🎨 나온 PD: 네, 각 단계의 의도를 한 번 더 리마인드해서 점검해보겠습니다. 피드백 감사해요!

이후로 몇 차례 추가 피드백을 거쳐 최종 시안이 결정되었으니, 이젠 QA를 진행할 차례. 스테이징 서버에 작업을 배포해, 생각했던 대로 이 피쳐가 작동하는지 점검한다. 만약 QA 과정에서 이슈가 발견되면 SE가 수정하고, QA를 통과하면... 드디어 배포다!

끝...이면 좋겠지만... 아직 끝이 아니다.

빠르게 실험한 이유는, 배포한 후에도 부족한 점을 보완해 빠르게 개선하기 위해서니까! 다음 단계는 개선을 위해 꼭 필요한 것, 바로 '실험 결과 측정'이다.

[5단계] 빠른 개선을 위한 실험 결과 측정 및 공유

새로운 피처를 배포한 지 1주일이 지났다. 실험 결과를 측정할 시간이다.

이번 실험을 통해 달성하고자 했던 목표는 3가지다.

• 푸시 허용 비율 높이기
• 푸시 클릭률 높이기
• 콘텐츠 조회 횟수 높이기

이 중에서도 가장 중요한 목표는 첫 번째다. '원하는 상황/시간/주기에 푸시 보내주기'라는 솔루션 자체가 푸시 허용 비율을 높이기 위한 거였으니까.

또한 푸시 클릭률과 콘텐츠 조회 횟수로 이번 실험의 성패를 판단하기에는 결과에 영향을 미칠 만한 다른 요소가 많다. 앱 푸시 없이도 푸시 문구를 잘 쓰면 푸시 클릭률이 올라갈 수 있고, 앱 푸시가 생겼어도 흥미로운 콘텐츠가 발행되지 않으면 콘텐츠 조회 횟수는 떨어진다.

지원은 이러한 점을 감안하여 실험 결과를 정리했다.

정리한 문서를 놓고, PM 지원, PD 나온, APM 지우는 넥스트 스텝에 대해 논의했다.

👩🏻‍💼 지원 PM: 가장 중요한 지표였던 '푸시 허용 비율'이 높아져서 뿌듯하네요! 이탈률이 높은 단계만 좀 더 보완하면 임팩트가 더 클 것 같아요.

👩‍🎨 나온 PD: 아쉬운 건 푸시 클릭률이에요. 왜 습관 푸시보다 콘텐츠 푸시가 더 후킹한 걸까요?

👨🏼‍💻 지우 APM: 콘텐츠 푸시에 고객들이 관심 가질 만한 새로운 키워드가 포함돼서 그런 거 아닐까요? '습관 형성을 도와드릴게요!'보다는 '메타버스가 대체 뭐야?', '질문 잘해서 칭찬받는 법' 같은 키워드에 더 반응할 확률이 높으니까요. '새로운 콘텐츠가 나왔어요!'라는 느낌이라 호기심이 생기기도 하고요.

👩‍🎨 나온 PD: 그렇다면 푸시 랜딩도 '마이퍼블리'가 아니라 특정 콘텐츠 페이지로 다시 수정해야 하지 않을까요? 콘텐츠 페이지로 연결되면 그거 하나만 읽으면 되는데, 마이퍼블리로 랜딩되면 읽어야 할 여러 콘텐츠가 보여서 바로 '읽기'라는 액션으로 이어지기 어려운 것 같아서요.

👩🏻‍💼 지원 PM: 네, 애초에 리소스를 최소한으로 실험해보기 위함이었으니까요. 푸시를 콘텐츠로 연결하는 건 후속 작업으로 진행해야 하는데 랜딩을 콘텐츠로 연결하기 위해서는 '이어서 읽기'와 '추천 콘텐츠 로직' 작업이 먼저 이뤄져야 할 것 같아요. 그럼 아마 빠르게 해보긴 어려울 테니, 푸시 문구를 바꿔서 클릭률을 좀 더 높여보는 건 어떨까요?

👨🏼‍💻 지우 APM: 고객들이 콘텐츠 푸시에 반응하는 이유가 '후킹한 키워드' 때문이라고 가정한다면, 독자들이 반응할 만한 키워드를 습관 푸시에 좀 더 넣는 쪽으로 바꿔볼 수 있겠네요.

👩🏻‍💼 지원 PM: 좋아요. 애초에 완벽한 피처만 배포할 수는 없는 거니까... 클릭률보다 중요한 지표인 '푸시 설정 비율'이 높아졌으니, 빠르게 다음 스프린트로 넘어가는 게 좋을 것 같아요.

완성도를 높이는 것에 집착하다 보면 1년에 피처 하나도 배포하기 힘들 것이다. 그사이 정작 고객이 필요로 하는 기능은 자꾸 뒤로 밀린다.

빠른 실험과 빠른 개선을 위해서는 PM의 빠른 의사결정이 중요하다. 스프린트 중에는 물론이고, 스프린트가 끝난 후에도. 완성도 높은 제품을 만드는 것보다 중요한 건 빠르게 실험해보면서 고객이 정말로 필요로 하는 제품을 찾아가는 거니까.