의심과 집요함: 데이터를 다루는 사람의 기본 소양

💡 10분 안에 이런 걸 알려드려요!

  • 책에서는 가르쳐주지 않는 데이터 분석에 반드시 필요한 소양과 태도
  • 7년 간 스타트업에서 그로스와 데이터 분석 업무를 한 저자의 지표 정확도를 높이는 생각 법
  • 의사결정 활용에 도움이 되는 데이터만 담긴 실용적인 지표 대시보드 기획법

저자 김민우

그로스 컨설턴트 > 프로필 더 보기

데이터를 잘 보는 사람들의 공통점은 무엇일까요? 여러 가지가 있을 수 있지만, 저는 '의심'과 '집요함'이라고 생각합니다. 숫자나 지표를 봤을 때 그냥 '아 그렇구나~' 하고 넘어가는 게 아니라 정말 그게 맞을까 의심하고, 끝까지 파고 들어서 사실 관계를 밝히려는 태도를 가진 거죠. 

 

의심이 없는 사람들은 잘못된 데이터를 무비판적으로 받아들입니다. 그리고는 데이터를 기반으로 의사결정 한다고 착각하면서 실제로는 잘못된 의사결정을 하게 됩니다. 집요함이 없으면 데이터 표면 아래 숨어있는 더 깊은 이야기를 발굴해내지 못합니다. 그래서 저는 의심과 집요함이 통계학 지식과 분석 기술만큼 중요한 소양이라고 생각합니다. 

 

이 글을 읽는 여러분도 데이터 역량을 갈고닦는 데 관심이 많으실 겁니다. 강의를 듣고, 자료를 읽고, 스터디 모임에 참여하는 등 노력을 기울이는 분들이 많으신 것으로 알고 있습니다. 하지만 분석 기술을 익힐 수 있는 곳은 있어도 의심과 집요함 같은 태도를 배울 수 있는 곳은 많지 않습니다. 

©kaleidico/Unsplash

이런 태도를 익히는 가장 좋은 방법은 좋은 데이터 분석가 또는 PM과 함께 일하면서 피드백을 받고, 그들의 사고 과정을 살펴볼 수 있는 OJT(on-the-job training)를 받는 것이라고 생각합니다. 이런 소양은 명문화하기 어렵기 때문에 도제식*으로 일함으로써, 또는 좋은 동료들과의 상호작용을 통해서 자연스럽게 스며들듯이 학습이 이뤄지는 경우가 많은 것 같습니다.

*특정한 기술이나 노하우를 가진 사람이 제한된 사람에게 직접 가르치는 교육방법

 

하지만 누구나 그런 환경에서 일할 수 있는 행운을 가진 것은 아닙니다. 그래서 이 글에서는 전 데이터 분석가 및 현 그로스(growth) PM으로서 제가 지표를 볼 때 어떤 생각을 펼치는지, 사고 과정을 최대한 있는 대로 풀어 보려고 합니다. 독자 여러분이 '아, 데이터를 제대로 보는 사람들은 그냥 허투루 넘어가는 법이 없구나. 이 정도로 집요하게 의심해서 밝혀내야 하는구나'라는 생각을 하시게 될 수 있길 바랍니다.

지표를 볼 때: "정확한 정의가 뭘까?"

저는 지표의 정의가 조금이라도 애매모호한 것을 견디지 못합니다. 항상 지표의 정확한 정의가 뭔지 따져 보게 됩니다.

 

왜 지표의 정의를 따져봐야 할까요? 

같은 지표를 말하는 것처럼 보이더라도 어떻게 정의하는지에 따라 실제로 가리키는 것은 천차만별이기 때문입니다. 지표가 실제로 가리키는 것은 A인데, 듣는 사람은 B를 가리키고 있다고 오해할 수 있는 거죠. 지표를 명확하게 정의하고, 그 기준을 정확히 커뮤니케이션하지 않으면 잘못된 지표를 근거로 의사결정을 하게 될 위험이 커집니다. 그래서 우리는 집요하게 따져 봐야 합니다.

 

이런 말을 들을 때마다 제 머릿속에 어떤 연쇄반응이 일어나는지 보여 드리겠습니다. 

리텐션율(retention rate)*이 85%에 이른다. CAC(Customer Acquisition Cost)**가 5000원이니 마케팅을 효율적으로 하고 있다.

* 시간이 지나면서 사용자들이 유지되는 비율

** 신규 고객 획득 비용

지표를 봤을 때 하는 생각 요약

  • 지표의 정의가 뭔지 정확히 확인하자.
  • '분자'와 '분모'에 각각 무엇이 들어가는지 확인하자.
  • 계산식에 무엇을 포함시켰는지, 무엇을 제외했는지 확인하자.
  • 지표 측정 기간을 어떻게 설정했는지 확인하자.

 

하지만 이런 요약본 만으로는 뉘앙스를 충분히 이해하시기 어려울 겁니다. 아래 예시들을 읽으면서 사고 과정을 천천히 따라와 보시길 바랍니다.  

 

예시 1) "리텐션율이 85%에 이른다."라는 말을 들었을 때

[1단계] 이 사람이 말하는 리텐션율이란 정확한 정의가 뭘까?

[2단계] '첫 구매자' 중 85%가 2회 차 구매를 한다는 뜻일까?

  • 그렇다면 2회 구매한 사람들 중 몇 %가 3회 차 구매로 이어질까? 3회 구매한 사람들의 4회 차 구매율은? 5회 차, 6회 차, 그 이후 재구매율은?

[3단계] 어느 기간 동안의 재구매율일까? 서비스가 존재했던 전체 기간 동안의 누적 재구매율인가?

  • 그러면 첫 구매와 재구매 사이에 공백이 몇 년이 있든 상관없이 모두 같은 '재구매'로 보는 걸까?
  • 아니면 1개월, 3개월 등 일정 기간을 설정해서 본 지표인가? (예: 첫 구매를 한 사람의 1개월 내 재구매율)

[4단계] 아니면 월별 리텐션율로서 전월 사용자 중 85%가 다음 달에도 사용한다는 뜻인가?

  • 그렇다면 85%는 어느 기간의 평균 수치일까? 최근 6개월? 최근 12개월? 아니면 가장 월별 리텐션이 좋았던 시기의 지표일까?

[5단계] 아니면 시간 경과에 따른 리텐션 커브*(retention curve)를 그려 보았을 때, 약 85% 수준에서 커브가 평평해진다는 뜻인가?

[6단계] 어떤 액션을 기준으로 리텐션을 측정했을까?