비즈니스의 성장을 위한 지표 설정 및 관리법 (feat. 아마존의 '순서 파괴')

아마존 사례로 배우는, 지표 관리 노하우

프로덕트 매니저(PM)에게는 제품 감각, 커뮤니케이션, 리더십 등 여러 가지 역할이 요구됩니다. 그중에서 핵심은

가설을 수립하고 검증하는 과정을 반복하여(iteration) 제품과 비즈니스의 성장을 만들어내는 것

이라고 생각하는데요. 여기서 중요한 역할을 하는 게 바로 '지표'입니다. 지표가 중요한 이유로는 크게 3가지가 있습니다. 

첫째, 지표는 제품 임팩트를 측정하는 데 유용합니다. 제품 임팩트는 보통 '월간 활성 사용자 수가 10% 늘었다', '월 매출액이 20% 증가했다'와 같이 정량적인 수치로 측정됩니다. 또한 '사용자 만족도'와 같은 정성적인 요인도 점수로 수집되죠. 

PM은 제품과 비즈니스의 성장을 만들어내는 사람으로서 임팩트, 즉 '성공'과 '실패'를 판별할 수 있는 기준을 세워야 하는데, 이 기준이 지표로 표현됩니다. 따라서 지표를 세워야 제품 임팩트를 보다 효과적으로 측정할 수 있습니다.

둘째, 지표는 팀 방향성을 설정하는 데 도움을 줍니다. 가설을 수립하고 이를 제품으로 구현하는 과정에서 문득 팀이 올바른 방향으로 나아가고 있는지 질문을 던져본 적 있으실 거예요. 이럴 때, 어떻게 답을 내리면 좋을까요? 

방법은 간단합니다. 가설에서 설정한 지표를 다시 떠올려보고, 지금 진행하는 프로젝트가 해당 지표를 향상시키기 위한 최선의 방법인지 생각해보는 거죠. 반대로, 어떤 지표를 개선할지 뚜렷하게 설정하지 않은 상태로 프로젝트를 진행하면 기획, 디자인, 개발을 아우르는 전 단계에서 길을 잃기 쉽습니다. 

셋째, 지표는 제품팀이 리소스를 어디에 투입할지 결정하는 데 중요한 역할을 합니다.  제품팀의 목적은 KPI나 OKR의 KR(Key Result)과 같은 정량 지표로 표현됩니다. 이때, 어떤 지표를 목적으로 설정하느냐에 따라 팀의 자원은 저마다 다른 영역에 투입됩니다.

예를 들어, 콘텐츠 서비스 팀에서 '콘텐츠 조회 수'를 지표로 잡느냐, 혹은 '완독률 70% 이상의 콘텐츠 수'를 지표로 잡느냐에 따라 각기 다른 행동을 보일 겁니다. 

• '콘텐츠 조회 수'를 지표로 잡을 경우: 최대한 많은 독자들이 콘텐츠를 접할 수 있도록 메인 홈페이지에 자주 노출시킨다.
• '완독률 70% 이상의 콘텐츠 수'를 지표로 잡을 경우: 독자들이 콘텐츠를 끝까지 읽도록 도와주는 기능을 개발한다.

PM은 팀의 리소스가 제품과 비즈니스를 성장시키는 중요한 일에 사용되고 있는지 항상 확인해야 합니다. 따라서 KPI나 OKR을 어떤 지표로 잡을지 신중하게 고민해야겠죠. 이렇듯 PM과 지표는 떼려야 뗄 수 없는 관계입니다.

그렇다면 PM은 지표를 어떻게 설정하고 바라봐야 할까요? 저는 <순서 파괴>라는 책에서 힌트를 얻었는데요. 이 책은 아마존에서 '제프의 그림자'로 불리며 27년간 근무한 콜린 브라이어와 빌 카의 저서입니다. 

이 책에는 지표를 관리하는 법이 한 챕터에 걸쳐 나옵니다. 두 명의 저자가 아마존에서 경험한 여러 가지 사례도 함께 나오고요. 그래서 이 아티클에서는 해당 챕터의 주요 내용과 다양한 예시를 통해 PM이 알아야 할 지표 설정 및 관리법에 대해 정리해 보려고 합니다.

PM이 아니시더라도 평소에 아래와 같은 고민을 자주 하는 분이라면, 이 아티클 내용이 도움이 되리라 생각합니다.

• 지표가 중요하다는 사실은 알고 있지만, 정작 제대로 된 지표를 보고 있는 건지, 지표들 간의 관계가 무엇인지에 대해서는 고민해보지 않았다.
• 이전부터 봐오던 지표를 관성적으로 사용하고 있다.
• 관찰할 지표를 한 번 설정하고 나면 그 이후로는 트래킹에만 신경을 쓴다.

아웃풋이 아닌 '인풋'을 관리해야 한다

<순서 파괴>가 소개하는 지표 관리법을 잘 이해하려면, 먼저 인풋과 아웃풋의 개념을 알아야 합니다. 둘의 사전적 정의는 다음과 같습니다.

• 인풋(input): 입력, 투입물
• 아웃풋(output): 출력, 결과물

예를 들어, 여러분이 작은 카페를 운영한다고 생각해 보세요. 카페를 더 잘 운영하려고 커피와 베이커리 메뉴를 바꿔보고, 인테리어를 힙하게 꾸며보기도 하고, 직원들이 보다 친절하게 서비스하도록 교육하는 등의 다양한 시도를 하겠죠. 

여기서 인풋과 아웃풋을 구분해서 생각해 볼게요. 카페 운영에 필요한 메뉴나 카페 직원들의 서비스 같은 요소들이 바로 인풋에 해당합니다. 이 활동들을 수치화한 것이 곧 인풋 지표(input metric)가 되는 거고요. 

한편, 아웃풋 지표(output metric)는 이 활동의 결과물에 해당합니다. '카페를 잘 운영한다'라는 목표를 정량화한다면 카페 방문자나 매출이 늘어나는 것이겠죠. 이게 바로 아웃풋 지표입니다.

정리하면 인풋 지표는 '아웃풋 지표를 움직이는 지표'이며, 직접 통제 가능한 활동들을 의미합니다. 아마존에서는 주문, 매출, 이익과 같은 수치를 아웃풋 지표로 보고, 제품 다양성과 가격, 편의성 등을 인풋 지표로 정의했는데요. 

제품 다양성, 가격, 편의성과 같은 지표들은

• 아마존이 신제품을 카탈로그에 추가하거나
• 비용을 절감해서 제품 가격을 낮추거나
• 재고를 잘 관리해서 고객에게 더 빠른 배송을 제공하면서

개선할 수 있는, 즉 '통제 가능한' 것이기 때문입니다. 반면 주문이나 매출, 이익과 같은 아웃풋 지표는 아마존이 활동한 결과물일 뿐 직접 통제할 수는 없다고 정의한 거죠.

인풋 지표가 중요한 3가지 이유

아마존이 인풋 지표와 아웃풋 지표를 구분하고, 인풋 지표를 중요하게 생각하는 데는 크게 3가지 이유가 있습니다. 

• 첫째, 액션 아이템이 명확해진다.
• 둘째, 문제 상황을 빠르게 캐치할 수 있다.
• 셋째, 고객 중심으로 사고할 수 있게 도와준다.

1) 액션 아이템이 명확해진다

인풋 지표가 중요한 가장 큰 이유는 PM이 지금 어떤 액션을 취해야 할지 명확하게 알려준다는 점입니다. 즉, 인풋 지표를 세우면 제품팀의 액션 아이템이 뚜렷해집니다.

위에서 언급한 카페 운영에 대입해서 설명해 볼게요. 4월 매출을 보니까 1주차에는 매출이 높은 수준인데, 3주차부터 하락하고 있습니다. 이대로 가다가는 한 달 뒤에 운영비를 충당하지 못할 것 같아 마음이 불안합니다. 그래서 더 많은 손님을 받으려고 영업시간을 한 시간 늘리기로 결정합니다. 

그런데 이 결정이 최선의 선택이었을까요? 얼핏 보면 매출 하락이 '영업시간을 늘린다'라는 액션으로 이어진 것처럼 보입니다. 하지만 우리는 카페 매출이 왜 3주차부터 하락했는지, 영업시간을 늘리면 매출이 1주차 수준으로 회복될 수 있을지 여전히 모르는 상태입니다. 

한편, 매출이 하락하기 시작한 3주차에 어떤 일이 일어났는지 확인해 보니, 카페 인기 메뉴인 도넛 제작 수량이 급격하게 줄었다는 점을 발견했습니다. 그렇다면 어떤 액션 아이템이 좋을까요? 도넛 제작 수량이 줄어든 원인을 파악하고, 만약 도넛 재료를 수급하는 데 문제가 있었다면 다른 구매처에서 빠르게 조달해오면 되겠죠. 

정리해 보면, 전자의 경우는 카페 매출이 하락했다는 것만 보고 액션을 취했습니다. 반면, 후자의 경우는 카페 매출에 영향을 미치는 요인들 가운데 어느 부분에서 문제가 발생했는지 찾고 액션을 취했습니다.

아웃풋 지표에 영향을 미치는 요소는 정말 다양합니다. 그래서 아웃풋 지표의 변화만 보고 '문제를 해결할 액션'이 무엇인지 바로 짚어내기란 어렵죠. 하지만 아웃풋 지표를 움직이는, 통제 가능한 인풋 지표를 알고 있다면, 문제가 되는 지표를 빠르게 확인하고 유의미한 조치를 취할 수 있습니다. 

2) 문제 상황을 빠르게 캐치할 수 있다

인풋 지표가 중요한 두 번째 이유는 아웃풋 지표에 비해 문제 상황을 빠르게 캐치할 수 있다는 점입니다. 아웃풋 지표는 비즈니스 활동이 이루어지고 나서야 확인할 수 있는 '후행 지표'입니다. 또한 아웃풋 지표에 영향을 미치는 요인은 무척 다양해서 특정 부분에 이상이 생겨도 곧장 드러나지 않을 수 있습니다. 

반면, 인풋 지표는 '선행 지표'라서 제품의 이상 신호가 비교적 빠르게 드러납니다. 다시 카페 예시로 돌아가 보죠. 카페 월 매출은 그다음 달에 집계됩니다. 따라서 월 매출 지표만 봤다면 한 달이 지나고 나서야 도넛 제작에 문제가 있었다는 걸 눈치채겠죠. 그에 반해 도넛 제작 수량은 바로바로 집계할 수 있기 때문에 평상시와 다른 점을 빠르게 감지하고 조치를 취할 수 있습니다. 

만약 도넛 제작에 문제가 생기는 바람에 도넛 판매는 급감했지만, 케이크가 유난히 잘 팔려서 전체 매출에는 큰 변화가 없었다고 가정해 봅시다. 이런 상황에서 월 매출 지표만 살펴봤다면 운영에 별다른 문제가 없다고 생각했을 거예요. 

하지만 도넛 및 케이크와 관련된 인풋 지표를 트래킹하고 있었다면 갑자기 케이크 판매량이 늘어난 이유를 빠르게 캐치하고 그에 대한 후속 작업을 취했을 겁니다. 

3) 고객 중심으로 사고할 수 있게 도와준다

카페 예시에서 인풋 지표에 해당하는 도넛 제작 수량과 아웃풋 지표에 해당하는 카페 월 매출을 생각해 봅시다. 고객 입장에서 생각해 보면, 카페 월 매출이 아니라 유명하다고 소문난 도넛에 관심이 집중돼 있을 거예요. 도넛을 먹을 수 있을지 여부가 관건인 거죠. 

따라서 도넛이 문제없이 제작되고 있는지 트래킹하는 것은 매출 증가에 기여할 뿐만 아니라 고객 경험이 만족스럽게 제공되고 있는지 확인하는 작업이기도 합니다. 

아마존은 인풋 지표에 해당하는 가격, 제품 다양성, 배송과 같은 요소들이 곧 고객이 중요하게 여기는 것이라고 봤습니다. 그래서 이 지표들을 개선한다면 아웃풋 지표를 성장시킬 뿐만 아니라, 고객 만족까지 가져다줄 것이라고 본 거죠. 

PM은 제품을 기획할 때 그 출발점이 고객의 페인 포인트나 니즈인지, 아니면 본인이 하고 싶은 것인지 항상 체크해야 합니다. 고객 중심적인 사고로 전환하려면 고객의 관심사인 인풋 지표에 집중하고, 그 수치를 개선하기 위해 노력해야 합니다. 

지표에 접근하는 아마존의 방식은 '고객에 대한 집착'이라는 리더십 원칙을 담고 있다. 고객에 대한 집착의 증거는 회사가 아웃풋 지표보다 인풋 지표에 집중한다는 사실에서 자명하게 알 수 있다. 아마존에서 쓰이는 인풋 지표들은 낮은 가격, 많은 가용 제품, 빠른 배송, 고객서비스 요청 최소화, 빠른 웹사이트처럼 고객 서비스에 관한 것이다. 매출, 잉여현금흐름과 같은 아웃풋 지표들은 회사의 재무제표에서 흔히 볼 수 있는 것들이다. 하지만 고객들은 그런 지표에 별로 관심을 두지 않는다. 

 

<순서 파괴> p.274

아마존은 인풋 지표를 어떻게 찾았을까?

지금까지 인풋 지표의 개념과 그 중요성을 살펴봤습니다. 그렇다면 인풋 지표를 어떻게 설정할 수 있을까요? 

실무에 적용할 수 있는 구체적인 방법을 설명드리기 전에 한 가지 당부하고 싶은 것이 있습니다. 인풋 지표를 찾는 작업은 한 번에 끝나는 것이 아니라, '지속적인 과정'이라는 점입니다.

책에서는 아마존이 제품 다양성과 관련된 인풋 지표를 어떤 식으로 정의했고 개선해 갔는지 그 과정을 소개합니다. 아시다시피 아마존은 매우 다양한 제품을 보유하고 있죠. 따라서 아마존은 고객이 얼마나 다양한 제품을 탐색했는지 체크하기 위해서 지표를 만들기 시작합니다. 

물론 처음부터 완벽한 지표가 탄생하진 않았습니다. 총 3번의 수정을 거친 끝에 최종 인풋 지표를 설정한 것인데요. 그럼 그 과정을 하나씩 따라가 보겠습니다.

맨 처음 설정한 지표: 추가되는 제품의 상세 페이지 수

가장 처음 설정한 지표는 제품 상세 페이지 수였습니다. 상세 페이지가 많을수록 더 많은 제품을 보유한다는 뜻이기 때문이죠.

그런데 제품 상세 페이지 수가 목표 지표로 설정되자 아마존 유통팀은 이전까지 아마존에 없던 새로운 상품들(상세 페이지)을 확보하는 데 과도하게 집중했다고 합니다. 이렇게 엄청난 수의 상세 페이지가 생겨나자 마치 제품 다양성이 개선되는 것처럼 보였습니다.

하지만 정작 매출이라는 아웃풋 지표에는 변화가 없다는 사실이 곧 드러납니다. 고객 수요가 많지 않은 상품들도 계속 추가됐기 때문이죠. 심지어 '재고 관리 비용'이라는 다른 아웃풋 지표가 증가하는 우를 범하기도 합니다.

1차 수정한 지표: 제품의 상세 페이지 조회 수
그래서 아마존은 단순히 페이지 수가 아니라 페이지 조회 수로 지표를 개선합니다. 고객이 해당 제품의 상세 페이지를 조회하지 않으면 의미가 없도록 고객 수요를 반영할 수 있는 지표로 바꾼 거죠. 

2차 수정한 지표: '재고가 있는' 제품의 상세 페이지 조회 비율 
아마존은 여기서 그치지 않고, '재고가 있는'이라는 조건을 추가해서 지표를 개선했습니다. 고객이 특정 제품의 상세 페이지를 조회했어도 재고가 없으면 구매할 수가 없으므로 만족스러운 상황이 아님을 반영한 것이죠. 

책에는 서술돼 있지 않지만, '재고가 있는'이라는 조건이 추가되면서 유통팀은 아마존에 게시된 수많은 상품들의 재고 상태에 문제가 없도록 액션을 취했을 겁니다. 
 

3차 수정한 지표: '재고가 있고 2일 내 배송이 가능한' 제품의 상세 페이지 조회 비율

아마존은 한 단계 더 나아갔습니다. '2일 내 배송이 가능한'이라는 조건을 추가한 것이죠. 흥미로운 점은 이렇게까지 지표가 발전하자, 창업자인 제프 베조스가 '너무 지엽적'이라는 우려를 표했다는 겁니다. 지표가 구체적일수록 관리하기 어려운 점도 있겠지만, 제품팀이 항상 떠올려야 하는 지표에 너무 많은 조건이 붙으면 기억하기 힘들고 직관성도 떨어지기 때문이 아닐까 생각합니다. 하지만 당시 오퍼레이션 담당자였던 제프 윌케(Jeff Wilke)는 이 작업이 리테일 프로세스를 체계적으로 변화시켜줄 것이라면서 적극 추진했다고 합니다. 

실제로 위와 같이 인풋 지표를 바꾼 후, 유통팀의 업무 행동에 상당한 변화가 일어났는데요. 많은 고객들이 검색하지만 아직 제공되지 않은 상품들을 트래킹하고, 고객에게 필요한 제품들을 확보하기 시작했습니다. 또한 단순히 제품 수를 늘리는 게 아니라 '매출에 가장 큰 임팩트를 낼 수 있는' 제품 수를 늘리는 데 집중했습니다. 

이 부분 역시 책에 직접적으로 언급돼 있진 않지만, 유통팀이 매출에 유의미한 제품을 많이 확보할 수 있도록 인풋 지표로 행동을 넛지한 결과, 매출에 큰 성장이 있었을 것으로 예상됩니다.

이처럼 인풋 지표를 어떻게 설정하느냐에 따라 조직의 행동은 얼마든지 바뀔 수 있습니다. 그 말은 인풋 지표를 잘못 설정한다면 조직의 리소스가 불필요한 곳에 투입될 수 있다는 뜻이겠죠. 

따라서 인풋 지표를 설정한 이후에도 아웃풋 지표가 예상했던 대로 변화하고 있는지 살펴보고, 지표를 개선할 수 있는 여지가 없는지 지속적으로 확인해야 합니다.

지표를 한눈에 파악할 수 있는 '지표 라이프 사이클'

아마존 사례를 통해 인풋 지표란 단발성에 그치는 게 아니라 지속적으로 찾아가는 것임을 알 수 있었습니다. 그런데 애초에 어떤 지표를 설정해야 좋을까요? 지표를 잘 정의한다고 해도 어떻게 측정하고 수집할지 역시 중요한 문제입니다. 

이런 질문에 대답하기 위해서는 한 걸음 뒤로 물러나서 여러 가지 지표들을 한눈에 파악하고, 지표를 종합적으로 관리하는 프로세스가 필요합니다. 이때 등장하는 것이 바로 DMAIC 방법론입니다.

'DMAIC'란, 정의(Define), 측정(Measure), 분석(Analyze), 개선(Improve), 관리(Control)의 앞 글자를 딴 축약어로, 원래는 6 Sigma 경영 기법의 방법론인데요. 아마존에서는 지표를 만들고 관리 대상으로 지정하기까지의 과정에 이 방법론을 적용해 '지표 라이프 사이클'을 정의했습니다. 그럼 한 단계씩 설명드릴게요.

[1단계] 정의(Define)

첫 번째 단계는 측정하고 싶은 지표를 선택하고 정의하는 것입니다. 앞서 아마존에서는 인풋 지표를 가격, 제품 다양성, 편의성으로 설정했다고 설명드렸는데요. 제프 베조스는 이것이 어떻게 아웃풋 지표인 '성장'에 기여하는지, 그리고 '성장'은 어떻게 다시 인풋 지표를 개선할 수 있는지 아래의 플라이휠로 도식화했습니다. 

그림을 보면, 플라이휠의 어떤 인풋에서 시작해도 성장이라는 아웃풋을 만들 수 있음을 알 수 있죠. 예를 들어 '고객 경험'을 개선하면 더 많은 고객이 아마존에 올 테고, 이는 더 많은 판매자들이 아마존에 상품을 올리도록 합니다. 

그러면 아마존에 더 많은 제품들이 제공될 것이고, 이는 다시 고객 경험을 높여서 아마존이 성장하도록 합니다. 아마존이 성장할수록 더 낮은 가격에 상품을 판매할 수 있기 때문에 고객 경험이 꾸준히 증가하는 선순환이 이루어지겠죠.

이처럼 인풋 지표와 아웃풋 지표가 어떻게 연결돼 있는지 파악한 다음, 인풋 지표를 어떻게 정의할지 고민해야 합니다. 앞서 소개한 아마존의 사례처럼 여러 번의 시행착오를 통해 인풋 지표를 꾸준히 탐색해야 하는데요. 아웃풋 지표에 영향을 미치면서 조직을 올바르게 이끌어갈 수 있는 인풋 지표를 정의하시기 바랍니다.

[2단계] 측정(Measure)

어떤 지표를 볼 것인지 정의했다면, 이제 어떻게 데이터를 측정하고 수집할지 고민해야 하는데요. 이때, 다음의 3가지 요소를 반드시 고려해야 합니다. 

먼저 지표를 수집하는 과정에서 발생할 수 있는 편향을 최대한 제거해야 합니다. 지표가 좋게 나오도록 수집 과정에 관여할 가능성이 있다는 거죠. 아마존에서는 이를 막기 위해 제프 베조스와 당시 CFO였던 워렌 젠슨이 공개 석상에서 이렇게 말했다고 합니다. 

재무팀은 데이터가 나타내는 것을 있는 그대로 말하는 일 외에는 그 어디에도 관심을 두지 말아야 한다. (p.242)

직원들이 '있는 그대로의 진실'을 말하도록 장려한 거죠. 여기에 더해, 지표를 측정하는 직원이나 팀을 따로 두는 것도 데이터에서 편향을 제거하는 방법 중 하나입니다.

두 번째로 고려할 점은 데이터를 유용한 형식으로 제시하기 위해 서로 다른 시스템에 산재돼 있는 데이터를 종합할 필요도 있는데, 이 과정에서 회사의 투자가 필요할 수도 있다는 점입니다. 

마지막으로, 측정하려는 데이터가 제대로 수집되고 있는지 검증하는 과정이 필요합니다. <순서 파괴>에서는 '재고 있음(in stock)'이라는 지표("제품들 중 몇 %가 바로 구매하고 배송 가능한가?")를 정의하고, 이를 수집하는 2가지 방법을 예를 들어 설명합니다. 

• 방법1: 매일 밤 11시에 모든 제품에 대한 스냅샷을 찍어서 재고가 있는지 확인하고, 지난 30일 동안 해당 제품의 판매 수량에 따라 가중치를 부여한다.
• 방법2: 제품 페이지가 노출될 때마다 '노출된 제품 페이지의 총합'에 1을 더하고, 그 제품이 재고가 있으면 '노출되었고 재고도 있는 제품 페이지의 총합'에 1을 더한다. 모든 제품에 대해 하루 종일 반복한 다음, 일과를 마무리할 즈음 후자를 전자로 나눠서 '재고 있음(in stock)' 지표를 구한다.

첫 번째 방법은 회사가 하루 중 어느 시간에 재고를 매입하는지에 많은 영향을 받습니다. 만약 재고가 밤에 채워졌다면(지표를 계산하기 전에) 지표는 잘 나오겠지만, 하루 종일 재고 없음 상태를 겪었던 고객들의 경험은 반영하지 못합니다. 만약 인기 있는 제품의 재고가 오랫동안 없었다고 해도, 지표는 '지난 30일'을 기준으로 하기 때문에 지표에 주는 영향이 실제보다 줄어드는 문제도 있습니다. 

반면, 두 번째 방법은 데이터를 수집할 때 더 많은 비용이 들지만, 매일매일의 고객 경험을 더 잘 반영한다고 볼 수 있습니다. 이처럼 데이터가 어떻게 수집되는지 파악하다 보면 고객 경험과 일치하는지, 수집 기준에 잠재적 문제가 있는지 등을 발견할 수 있습니다.

[3단계] 분석(Analyze)

분석 단계는 지표를 움직이는 요소들에 대해 종합적으로 이해하는 과정입니다. 이 단계의 목적은 데이터에 있는 신호로부터 노이즈를 제거해 근본적인 원인을 파악하고 대응하는 것인데요. 

아마존 팀은 데이터가 이해되지 않거나 놀라운 데이터를 발견하면 원인을 찾기 위해 끈질기게 달려들었다고 합니다. 이때, 도요타(Toyota)의 5 Whys 방법에 기반한 COE(Correction of Errors) 프로세스를 통해 근본적인 원인이 발견될 때까지 계속해서 "왜?"라는 질문을 던집니다. 

제프 베조스가 5 whys 접근 방식을 어떻게 체화하고 업무에 적용했는지 알려주는 일화가 하나 있습니다. 아마존의 2004년 4분기 지표를 논의하는 회의에서 안전과 관련된 지표를 이야기하던 중, 회의에 참석한 안전 매니저가 풀필먼트 센터의 한 직원이 컨베이어 벨트에 손가락을 다친 사건을 언급했다고 합니다. 

이때, 제프 베조스가 아래와 같은 내용을 화이트보드에 쓰고 논의를 이끌어 갔다고 합니다. 

이런 식으로 why를 계속 던지면서 직원이 손가락을 다친 근본적인 원인이 '가방을 올려놓을 책상이 주위에 없었기 때문'이라고 판단했습니다. 그리고 직원들이 근무하는 자리 근처에 가벼운 휴대용 책상을 제공하는 후속 액션이 이어졌다고 합니다. 만약 두 번째 why에서 멈췄다면 '갑자기 컨베이어 벨트가 켜지지 않도록' 시스템을 개선하거나 직원들을 교육하는 등 전혀 다른 액션이 이어졌을 겁니다. 

이처럼 데이터를 분석할 때 1차적인 원인이라고 추측한 것도 과연 근본적인 원인일지, 이것의 원인은 무엇인지 등의 질문을 계속 던지는 태도가 중요합니다. 지표에 변화를 일으키는 근본적인 원인을 파악하면 그에 맞는 액션을 취할 수 있고, 궁극적으로는 예측 및 통제 가능한 프로세스를 구축할 수 있습니다. 

[4단계] 개선(Improve)

설정한 지표를 실질적으로 개선하기 위해 에너지를 쏟는 단계입니다. 단, 앞선 세 단계를 잘 밟았다는 가정 하에 지표를 개선해야 유의미한 성과를 만들어낼 수 있겠죠. 

[5단계] 관리(Control)

마지막 단계는 1~4단계가 제대로 돌아가는지 모니터링하고, 자동화할 수 있는 프로세스가 있는지 점검하는 과정입니다. 지표가 어떻게 정의되고 수집되는지 잘 이해했으며, 지표에 따른 의사결정 로직이 소프트웨어 및 하드웨어에 반영될 수 있다면 자동화를 고려해 볼 수 있습니다. 

아마존에서 어떤 상품을 구매해야 좋을지 예측하고 구매하는 프로세스가 대표적인 자동화 예시인데요. 그동안은 수많은 구매 담당자가 수작업으로 처리했는데, 몇 년 동안의 시행착오를 거쳐 현재는 모두 자동화됐다고 합니다. 

아마존의 DMAIC 라이프 사이클처럼 지표를 체계적으로 관리하려면 많은 자원이 투입되어야 합니다. 그렇기 때문에 이러한 프로세스를 정립하고 지표를 완벽하게 관리하기란 어려울 거예요. 그럼에도 우리가 DMAIC 사이클에서 얻을 수 있는 레슨은 다음의 세 가지입니다. 

• 트래킹할 지표를 정의할 때, 통제 가능한 인풋 지표를 선정한다.
• 해당 데이터가 의도대로 수집되는지 체크한다.
• 변화를 일으키는 근본 원인을 파악하기 위해 꾸준하게 노력한다.

실전에서 인풋 지표를 찾는 5단계

개념을 다 배웠으니 이제 실전에 적용해 볼 차례입니다. 일단 인풋 지표를 찾는 것부터 시작해 보죠. 책에는 인풋 지표를 찾는 방법이 직접적으로 소개돼 있진 않지만, 앞서 중요하게 등장한 내용과 제 경험을 바탕으로 5단계로 정리해 보았습니다. 

[1단계] 지표 나열하기

먼저, 담당하고 있는 제품과 관련된 지표들을 생각나는 대로 나열해 보세요. 예를 들어, 구글이나 네이버의 '검색 기능'을 담당한다고 가정하면 아래와 같은 지표들을 나열해 볼 수 있습니다.

[2단계] 지표 간 관계 찾기

1단계에서 나열한 지표들이 서로 어떻게 연결돼 있는지 관계도를 그려보세요. 검색 가능한 콘텐츠 수가 많을수록 검색 정확도가 높아지고, 이는 고객의 검색 만족도를 높여줄 겁니다. 

검색 만족도가 높아지면, 검색 기능을 재사용하는 비율과 검색 기능을 사용하는 고객 수가 증가할 것으로 예측할 수 있습니다. 그리고 검색 기능을 사용하는 고객 수가 많아질수록 검색 수도 증가하겠죠. 

[3단계] 상위 지표와 연결하기

이번엔 이 지표들이 회사 차원의 상위 지표들과 어떻게 연결되는지 그려보세요. 회사 차원의 상위 지표란 서비스 종류에 따라 달라지겠지만, 여기서는 전체 사용자 수와 매출, 2가지 지표를 예시로 들어보겠습니다. 

검색 기능을 사용하는 고객 수가 많아질수록 전체 사용자 수도 자연스럽게 같이 늘어납니다. 또한 고객이 검색할 때마다 광고를 본다면 검색을 사용하는 고객 수 혹은 검색 수가 증가할수록 광고 매출이 늘고, 이는 회사 전체 매출을 증가시킵니다. 한편 검색 기능을 사용하러 방문한 고객이 다른 기능도 같이 사용한다면, 해당 기능의 사용률과 그와 관련된 매출에도 영향을 줄 수 있습니다. 

[4단계] 인풋 지표와 아웃풋 지표로 나누기

지금까지 나열한 지표들을 인풋 지표와 아웃풋 지표로 나누어 보세요. 어떤 지표들이 '통제 가능한' 것일까요? 얼마나 많은 고객이 검색을 하는지, 한 고객이 얼마나 많이 검색을 하는지, 검색 기능에 얼마나 만족하는지를 직접적으로 통제하기는 어렵습니다. 

반면, '검색 가능한 콘텐츠 수'의 경우, 고객들이 콘텐츠를 만들어낸다면 직접적으로 통제하기 어렵지만, 만약 회사에서 직접 콘텐츠를 생산해낸다면 그 지표는 통제 가능할 것입니다. 또한, '검색 정확도'는 서비스가 고객의 검색 의도를 얼마나 정확하게 파악하고 결과를 제공하는지에 달려있기 때문에 통제 가능한 인풋 지표라고 볼 수 있습니다. 

여러분이 앞으로 집중하고 개선해나갈 지표는 바로 이 인풋 지표입니다. 앞선 과정에서 이 지표가 어떤 아웃풋 지표에 영향을 끼치고, 회사 차원의 상위 지표와는 어떻게 연결되는지 인지했기 때문에 제품 방향성을 더욱 잘 설계할 수 있을 것입니다.

[5단계] 실험과 데이터 분석으로 확인하기

실험과 데이터 분석을 통해 지표 간 관계가 올바르게 설정되었는지 확인해 보세요. 앞서 설정한 지표 간 관계도는 가설에 불과합니다. 따라서 반드시 검증 단계를 거쳐야 합니다. 합리적인 수준에서 '지표들 간의 관계가 이렇다'라고 가정한 것이지, 실제로 예상한 대로 지표들이 서로 영향을 주고받는지는 검증해야 알 수 있으니까요.

예컨대, 위에서 '검색 가능한 콘텐츠 수가 많을수록 검색 정확도가 높아진다'라고 가정하고 두 지표의 관계를 설정했습니다. 하지만 실제로 수치를 확인했더니 두 지표 간의 상관관계가 잘 나타나지 않는다면 어떨까요? 

콘텐츠 수는 많아졌지만 고객이 검색할 만한 콘텐츠 수는 그만큼 많아지지 않았음을 의심하고, 이 문제의 원인이 무엇인지 파악해야겠죠. 만약 상관관계를 파악하기 위한 데이터 자체가 없는 상황이라면 실험을 통해 확인해 보는 작업이 필요합니다.

이 과정을 지속적으로 반복하다 보면, 중요하다고 생각했지만 실제로 아웃풋 지표에 영향을 미치지 않는 지표를 과감히 버리거나 새로운 지표를 만들어야 하는 상황이 생길 겁니다. 물론 충분한 시간과 리소스가 필요한 과정이라서 꾸준하게 진행하기 어려울 수 있습니다. 

하지만 이 과정을 거쳐야 지표들 간의 관계도는 물론이고 통제 가능한 인풋 지표가 점점 더 명확해지기 때문에 그만큼 임팩트를 낼 가능성도 높아질 것입니다. 

인풋 지표에 집중하기 위한 체크리스트

매일매일 실무에 집중하다 보면 위에서 언급한 내용을 잊어버리기 쉽습니다. 그래서 아래의 체크리스트를 주기적으로 점검해 보면서 인풋 지표에 대한 관점을 상기시키는 게 무엇보다 중요합니다.

핵심은 통제 가능한 인풋 지표를 찾는 것!

지금까지 인풋 지표의 개념과 중요성, 아마존의 DMAIC 지표 라이프 사이클, 그리고 인풋 지표를 찾는 구체적인 방법까지 살펴봤습니다. 인풋 지표를 강조하다 보니, "그럼 아웃풋 지표는 중요하지 않은가?" 하는 생각이 들 수도 있습니다. 

월별 사용자 수나 매출과 같은 아웃풋 지표는 서비스의 '성적표' 같은 지표로서, 꾸준히 트래킹해야 하는 중요한 영역입니다. 다만, 제품이나 서비스를 만들어나가는 과정에서는 아웃풋 지표를 움직이는 인풋 지표를 발굴하고 개선하는 데 집중해야, 고객 중심의 관점을 잃지 않고 성과를 만들어낼 수 있습니다. 

한편, 인풋 지표에 집중하기 위해서는 팀과 회사가 얼라인되도록 커뮤니케이션하는 과정도 필요합니다. 만약 회사가 아웃풋 지표만 중요하게 보거나 인풋 지표에 대한 개념이 없다면, 먼저 이 지식을 사내에 전파하는 작업이 이루어져야겠죠. 또한 제대로 된 지표를 설정하고 개선하는 일은 꽤 시간이 많이 필요한 작업이라서 리소스 투입의 필요성을 설득해야 될 수도 있습니다. 

지금까지 많은 내용을 말씀드렸지만, <순서 파괴>의 '성과 지표' 챕터에서 얻을 수 있는 가장 중요한 교훈은 이 두 가지 포인트가 아닐까 싶습니다. 

• 첫째, 내가 담당하는 제품에서 통제 가능한 인풋 지표가 무엇인지 발견한다.
• 둘째, 지표를 설정하는 과정에서도 '고객에 대한 집착'을 실천한다.

매일같이 제품에 대해 끊임없이 고민하는 분들께 이 글이 도움이 되었기를 바랍니다.