데이터를 해석할 때 하기 쉬운 N가지 실수

프로덕트의 가려진 뒷면, 데이터

이 세상 모든 프로덕트는 하늘에 뜬 달처럼 우리에게 잘 드러나지 않는 뒷면을 가지고 있습니다. 프로덕트의 앞면은 우리가 늘 바라보고 있는 그 화면―즉, 코드로 만들어진 사용자 인터페이스입니다. 반면 좀처럼 정체를 드러내지 않는 뒷면은 프로덕트에서 나오는 데이터입니다. 빈틈없이 집계한 데이터들은 사용자 인터페이스와는 다른 방식, 다른 형태로 프로덕트의 가치를 말해줍니다.

데이터는 프로덕트의 가치를 직관적으로 드러내지 않습니다. 서비스 현황 일부를 스냅샷으로 표현할 수밖에 없기 때문이죠. 분석을 위한 시각화(Visualization) 과정도 쉽지 않을뿐더러, 데이터를 쌓는 단계에서부터 공급자의 편견이 반영되어 오류에 빠질 위험이 큽니다. 이것이 데이터로부터 정확한 인사이트를 얻기가 그토록 어려운 이유입니다. 그럼에도 프로덕트 매니저들은 항상 데이터 기반(Data-Driven)으로 합리적인 의사결정을 해야 하는 위치에 있습니다.

어떻게 하면 데이터 분석을 잘할 수 있을까요? 그 답은 데이터가 프로덕트의 일부라는 사실에 있습니다. 방법은 바로, 데이터에 몰입하기 전에 우리 프로덕트의 진정한 고객을 알고, 그들에게 제안하는 가치를 뚜렷하게 이해하는 것입니다.

이 글에서는 이러한 핵심을 잊고 데이터를 접할 때 쉽게 범할 수 있는 실수를 짚어보고자 합니다. 데이터 분석은 복잡한 과제지만 사람이 하는 실수는 비교적 정해진 패턴을 보입니다. 특정한 유형의 실수를 미리 파악해두면 핵심에 다가가는 방향으로 빠르게 관점을 전환할 수 있을 것입니다. 지금부터 저의 직접 경험에 기반한 사례를 바탕으로 "데이터와 마주할 때의 가장 대표적이고 치명적인 실수 유형 다섯 가지"를 소개해드리겠습니다.

유형 하나. 그냥 다 본다

가장 많이 하는 실수는, 여러 데이터를 많이 보면 많이 볼수록 좋다고 여기는 데서 기인합니다. 물론 다양한 데이터를 보는 것 자체를 실수라고 하기는 어렵습니다. 그렇지만 데이터를 그냥 피상적으로 많이 보는 것, 그리고 이에 대한 인지와 개선이 없는 것은 큰 전략 오류로 이어질 수 있습니다. 정확히 어떨 때 이런 실수에 노출되는 것일까요?

👉 편향효과에 갇힌 데이터를 볼 때

기획자는 항상 편향에 사로잡힐 위기에 놓여있습니다. 노력해서 만든 서비스인 만큼, 파생된 데이터도 전부 다 꼼꼼히 보려는 욕심이 나는 것입니다. 그러나 핵심 가치와 거리가 먼 데이터를 보다 보면 잘못된 전략을 세울 수 있습니다. 아래 사례를 통해 상황을 상상해 볼까요?

기획자 입장에서는 내가 맡은 서비스의 지표를 자세히 확인하고 이를 개선하려는 노력이 당연하게 여겨집니다. 그렇지만 포인트의 전환율을 높이는 노력 이전에 먼저 했어야만 하는 일이 있습니다. 바로, 이 서비스가 사용자에게 꼭 필요한 가치를 주고 있는지 확인하는 것입니다.

A 프로덕트에는 관리해야 할 포인트 서비스가 하나 더 있습니다. 바로 100원의 캐시입니다. 이 캐시는 이름만 다를 뿐 사용자에게 직접 지급할 수 있는 또 다른 포인트 서비스입니다. 그래서 많은 액션을 요구하는 이 포인트 정책이 사용자로서는 못마땅할 수 있습니다. 20원을 다섯 번 쌓고 전환하는 노력까지 기울여야 100원을 얻을 수 있으니까요.

포인트를 지급하는 마케팅을 하면 전환율과 적립율은 올라가겠지만, 이러한 지표는 사용자의 귀찮은 마음을 정확히 알려주지 않습니다. 어느 순간 사용자가 관심을 두지 않는 지점, 즉 이탈 지점에 이르게 될 것입니다.

포인트의 경우, 캐시를 실지급하는 비용을 아끼고 서비스 공급자가 원하는 액션을 유도하여 체류시간을 높일 수 있어 기획 아이디어로 내기 쉽습니다. 그러나 사용자에게 지나치게 큰 노력을 요구하는 서비스는 그로스(Growth)의 대상이기 이전에 사용 경험(UX) 개선의 대상입니다.

가급적 기획 단계에서 재고하는 것이 좋지만, 꼭 필요하다고 판단해 이미 만들었다면, 설문조사로 정성적인 사용자 반응을 체크하는 등 후속 조치가 이뤄져야 합니다. 이와 유사한 또 하나의 사례를 보겠습니다.