지도는 땅이 아니다

더 정교한 도구를 쓰면 이 함정에서는 벗어날 줄 알았다. 정교함은 함정을 없애지 않는다. 더 알아채기 어렵게 만들 뿐이다.

지금까지 본 사례들의 공통점은 하나였다. 지표가 단순했고, 그 지표를 채우는 지름길도 뻔히 보였다. 그렇다면 자연스러운 다음 질문이 남는다. 지표를 더 정교하게 설계하면, 목표와 측정 방법 사이의 관계를 더 촘촘하게 명시하면, 이 거리는 좁혀지지 않을까.

이 질문에 가장 크게, 가장 먼저 답한 곳은 정작 비즈니스가 아니었다. 교육이었다. 그리고 그 답은, 도구를 더 정교하게 만드는 것만으로는 충분하지 않다는 쪽이었다.

시험 점수는 학교에 무엇을 가르쳤나

학교 성과를 객관적으로 비교할 방법이 없다는 것이 오래된 문제였다. 예산 배분도, 교사 평가도, 학교 간 비교도 기준 없이는 자의적이 되기 쉬웠다. 그 자리를 표준화 시험 점수가 채웠다. 어느 학교가 더 잘 가르치는지 숫자로 보여줄 수 있게 됐다. 좋은 의도에서 나온, 나무랄 데 없어 보이는 해법이었다.

2001년 미국의 낙제학생방지법(No Child Left Behind, NCLB)이 이 발상을 제도로 만들었다. 학교마다 연간 목표치(AYP)를 세우고, 이를 채우지 못하면 불이익을 주는 방식이었다. 모든 학생이 일정 수준의 학업 성취에 도달해야 한다는 취지 자체는 흠잡기 어려웠다.

그런데 시험 점수가 학교의 생존을 좌우하는 지표가 되자, 교실의 풍경이 바뀌었다. 시험에 나오는 것만 더 가르치고, 시험에 안 나오는 것은 슬며시 줄었다. 예술, 체육, 사회정서 발달 — 점수에 반영되지 않는 것들이 교육 과정에서 조용히 밀려났다. 점수는 올라갔다. 그 점수가 원래 대신 말해주려던 "좋은 교육"이 실제로 이뤄지고 있는지는, 그 점수 하나만으로는 대답할 수 없는 질문이 됐다.

가장 극단적인 결과는 2009년 조지아주 애틀랜타 학군에서 나왔다. 광범위한 시험 답안 조작이 드러나 교사와 교장 수십 명이 기소됐다. 학교의 존폐가 시험 점수 하나에 달려 있는 상황에서, 그 점수를 조작하는 것이 그 학교 안에서는 가장 합리적인 선택이 되어 있었다.

학교의 생존이 시험 점수 하나에 달려 있을 때, 그 점수를 조작하는 것은 조직 안에서 가장 합리적인 선택이 된다.

이 구조는 회의실에서도 똑같이 되풀이된다. 분기 마감을 앞둔 마케터가 "이 방법이 정말 효과가 있는가"보다 "이 방법이 이번 달 지표를 채우는가"를 먼저 묻는 순간은, NCLB 압박 아래 교사가 시험에 나오는 것만 가르치게 되는 순간과 메커니즘이 같다. 지표가 생존을 좌우할수록, 지표를 채우는 가장 쉬운 길이 곧 조직의 합리적 선택이 된다.

더 정교한 도구라면 다를까

여기서 많은 기업이 답을 찾았다고 믿은 도구가 있다. OKR(Objectives and Key Results)이다. 인텔에서 시작해 구글이 쓰면서 유명해진 이 방식은, 단순한 KPI보다 목표의 의미와 측정 방법 사이의 관계를 더 명시적으로 다룬다. Objective는 질적인 목표 방향이고, Key Result는 그것을 확인하는 정량 지표다. 숫자만 두는 게 아니라 그 숫자가 무엇을 위한 것인지를 나란히 적어두겠다는 설계다. OKR의 창시자 앤디 그로브는 이 도구의 취지를 한 문장으로 정리했다.

OKR은 측정을 위한 것이 아니라 집중을 위한 것이다.

OKR is not for measurement. It's for focus.

— 앤디 그로브(Andy Grove)

설계 철학은 훌륭하다. OKR 도입 초기에는 이 취지가 구글 내부에서도 분명히 공유됐다고 알려져 있다. 그런데 시간이 지나며 많은 조직에서 OKR은 분기마다 숫자를 채우고 평가하는 시스템으로 굳어졌다. 그러자 정작 조직에서 실제로 작동하는 방식을 관찰하면, 익숙한 패턴이 다시 나타난다. Key Result가 다시 목표가 되는 것이다. "고객이 서비스를 더 자주 쓰게 한다"를 Objective로 삼고 "월간 활성 사용자(MAU) 20% 성장"을 Key Result로 세웠다고 하자. 팀은 곧 MAU 자체를 향해 달리기 시작한다. MAU를 가장 빨리 올리는 방법이 이메일 알림 빈도를 높이는 것이라면, 팀은 알림을 늘린다. MAU는 오른다. Objective가 "고객이 더 자주 쓰는 것"이었는지, "MAU 숫자가 오르는 것"이었는지는 그 사이 구분되지 않기 시작한다. 알림 피로로 인한 이탈, 알림 차단, 브랜드에 대한 반감은 MAU라는 숫자 위에 즉시 드러나지 않는다.

브랜드 영역에서는 이 역설이 더 선명하다. "브랜드 인지도를 높인다"를 Objective로, "인지도 설문 점수 5점 향상"을 Key Result로 세웠다면, 팀은 그 설문 점수를 올리는 방법을 찾는다. 설문 대상을 최근에 광고를 본 사람들로만 좁히면 점수는 쉽게 올라간다. Objective — 더 많은 사람이 브랜드를 의미 있게 기억하는 것 — 와 Key Result — 특정 방식으로 걷어낸 표본의 설문 점수 — 사이의 거리는 그렇게 벌어진다.

여기에 이름을 붙일 만하다. 정교함의 착각이라 부르자. 도구가 정교해질수록 그 도구에 대한 신뢰도 함께 정교해진다는 믿음이다. 그러나 도구의 정교함과, 그 도구가 실제로 무엇을 재고 있는가는 서로 다른 문제다. "우리는 OKR로 관리한다"는 사실이 "우리는 올바른 것을 재고 있다"는 증거가 되지는 않는다. 더 정교한 도구는 함정을 없애는 대신, 더 정교한 방식으로 그 함정에 걸린다.

OKR의 딜레마는 구조적이다. Objective를 질적으로만 남겨두면 진행 상황을 알 방법이 없다. Key Result를 정량적으로 명확히 하면 그 숫자가 다시 목표가 된다. 이 딜레마는 프레임워크 하나로 해소되지 않는다. 결국 필요한 것은 지표를 설정한 사람들이 "이 숫자는 목표가 아니라 현황을 보는 도구"라는 사실을 계속 의식하는 문화다. 도구를 바꾸는 것보다, 도구를 대하는 태도를 바꾸는 쪽이 더 어렵고 더 근본적이다.

브랜드는 왜 유독 더 어려운가

매출, 비용, 전환율 같은 일반적인 비즈니스 지표도 이 함정에 취약하다. 그런데 브랜드 지표는 그 함정이 유독 깊다. 브랜드가 만드는 가치 자체가 원래 재기 어려운 성질을 갖고 있어서다.

브랜드의 핵심은 소비자 마음속의 연상, 신뢰, 감정적 연결이다. "이 브랜드를 얼마나 좋아하는가"는 설문으로 물을 수 있다. 그런데 그 점수가 실제 구매 행동, 가격 프리미엄을 받아들이는 태도, 경쟁자가 나타났을 때 브랜드를 지키는 힘과 얼마나 연결되는지는 단순하지 않다. 브랜드 인지도 조사, 선호도 조사, 자산 지수는 브랜드 강도의 한 단면을 보여줄 뿐, 브랜드 그 자체는 아니다.

여기에 시간의 문제가 더해진다. 오늘 만든 캠페인이 내일 매출에 곧바로 반영되는 퍼포먼스 광고와 달리, 브랜드는 효과가 늦게, 그리고 흩어져서 나타난다. 오늘의 브랜드 캠페인이 6개월 후의 매출에 얼마나 기여했는지를, 다른 마케팅 활동들과 분리해 측정하는 일은 매우 어렵다. 멀티터치 어트리뷰션 모델은 검색 광고 클릭, 이메일 오픈처럼 측정 가능한 접점에만 공을 배분한다. 그런데 그 접점들은 이미 브랜드에 관심이 생긴 소비자가 마지막 단계에서 지나가는 경로인 경우가 많다. 브랜드가 사람들의 기억 속에 조용히 쌓아 온 것은, 이 모델의 시야 바깥에 있다.

측정이 어려우니 논쟁에서도 브랜드가 불리해진다. 퍼포먼스 마케팅은 이번 분기 ROAS 숫자를 들고 온다. 브랜드 마케팅은 "장기 자산"이라는 개념을 들고 온다. 예산 배분 회의에서 숫자가 개념을 이기는 것은 자연스럽다. 그 결과 측정하기 쉬운 쪽에 투자가 몰리고, 측정하기 어려운 브랜드 자산은 체계적으로 과소투자된다.

Interbrand나 Brand Finance 같은 곳들이 브랜드 가치를 금액으로 환산하는 방법론을 내놓는 것도 이 불리함을 메우려는 시도다. 조직의 의사결정 테이블에 브랜드를 숫자로 올려놓는 데는 도움이 된다. 다만 그 숫자를 다시 목표로 삼아 관리하기 시작하면, 굿하트의 법칙은 어김없이 다시 작동한다. 단일 숫자로 압축하려는 욕구 자체가, 이 함정의 재료라는 사실은 변하지 않는다.

그래서 더 근본적인 대응은, 브랜드의 효과를 단 하나의 숫자로 표현하려는 욕구 자체를 내려놓는 것이다. 인지도, 선호도, 신뢰도, 차별성, 구매 고려도 — 여러 차원을 동시에 추적하는 브랜드 건강 지수(brand health scorecard) 방식이 단일 지표보다 완전한 그림을 준다. 이건 덜 명확해 보인다. 회의 자료 한 장에 숫자 하나로 담기지 않으니까. 그런데 덜 명확해 보이는 쪽이, 현실에는 더 가깝다.

지도를 지도로 쓰되, 땅으로 착각하지 마라

그렇다면 무엇을 할 수 있나. 지표를 버리는 것은 답이 아니다. 지표와, 그 지표가 대신 말해주는 실제 가치 사이의 관계를 계속 의식하는 것이 답에 가깝다.

지표에서 시작하지 말고 질문에서 시작한다. 무엇을 잴지 정하기 전에, 우리가 실제로 원하는 상태가 무엇인지부터 정한다. 그 상태를 어떻게 알 수 있는지, 그것을 가장 잘 보여주는 지표가 무엇인지는 그다음이다. "무엇을 잴 수 있는가"에서 출발해 목표를 거꾸로 끼워 맞추는 순서가, 함정으로 가는 가장 흔한 경로다.

새 지표를 도입할 때는 두 가지를 먼저 묻는다. 이 지표가 오를 때, 우리가 원하는 것이 실제로 이뤄지고 있다고 확인할 수 있는가. 그리고 이 지표를 채우는 방법들 중, 지표는 오르지만 실제 목표에서는 멀어지는 방법이 있는가. 첫 질문에 "그렇다", 둘째 질문에 "없다"고 답할 수 있어야 그 지표는 쓸 만하다. 확인하기 어렵거나 있다는 답이 나온다면, 그 지표는 이미 취약하다.

지표를 하나만 보지 않는다. 다만 지표 수를 늘리는 것 자체가 답은 아니다. 스무 개의 지표는 다섯 개의 지표보다 명확하지 않다. 어떤 걸 믿어야 할지 모르는 상황만 늘어난다. 중요한 건 지표들 사이의 관계를 읽는 것이다. NPS가 오르는데 재구매율이 내려간다면, 둘 중 하나가 현실을 더 정확히 담고 있다는 신호다. 그 불일치를 무시하지 않고 캐묻는 것이 지표를 제대로 쓰는 방식이다. 단기 지표와 장기 지표도 함께 본다. 이번 분기 신규 고객 획득 수와, 6개월 후 그 코호트의 재구매율을 나란히 추적하면 지금 획득한 고객의 질이 시간이 지나며 어떻게 드러나는지가 보인다.

지표가 실제 목표에서 갈라지는 신호를 조기에 잡는 방법도 있다. 팀에 "이 지표를 달성하는 방법을 최대한 나열해 보라"고 묻는 것이다. 그 목록 안에 지표는 채우지만 실제 가치는 갉아먹는 방법이 하나라도 있다면, 그 지표는 이미 취약하다. 또 하나의 신호는 지표는 좋은데 현장의 말이 다를 때다. 대시보드는 초록불인데 고객센터에 접수되는 불만이 늘고 있다면, 그 어긋남이 지표 설계가 어딘가 잘못됐다는 초기 경고다.

아마존은 이 균형을 리딩 지표와 라깅 지표의 구분으로 다룬다. 매출과 이익은 이미 지나간 결과를 보여주는 라깅 지표다. 고객 경험의 질, 선택의 폭, 가격 경쟁력은 미래를 예고하는 리딩 지표다. 마케팅으로 옮기면, 브랜드 인지도와 카테고리 안에서의 자발적 언급률이 리딩 지표에 해당한다. 이번 분기 매출로 즉시 나타나지 않지만, 다음 분기 이후의 매출을 미리 예고하는 신호다. 라깅 지표만 보는 조직은 늘 한 박자 늦게 반응한다.

그리고 지표에는 유효기간을 정해 둔다. 지표는 한번 도입되면 관성이 생긴다. 보고 체계와 보상 구조가 그 위에 얹히고, 그 지표가 더는 목표를 잘 대신하지 못한다는 게 드러나도 바꾸기가 어려워진다. 도입할 때부터 "1년 뒤 다시 검토한다"는 일정을 함께 정해 두는 것이, 지표가 생명력을 잃어가는 순간을 놓치지 않는 방법이다.

지표를 보는 주기도 한 가지로 고정하지 않는다. 월간 지표만 보면 그 한 달 안에서만 보이는 것을 관리하게 된다. 주간, 분기, 연간 지표를 함께 두면 단기 지표가 좋아지는 방향이 장기 지표를 갉아먹고 있는지를 다층적으로 볼 수 있다. 이건 관리를 더 번거롭게 만든다. 그런데 그 번거로움이, 단순화가 만드는 위험보다는 대체로 작다.

지표는 지도다. 지도를 잘 읽는 것과, 지도를 땅이라 믿는 것은 다른 일이다.

The map is useful. Mistaking it for the ground is the trap.

애틀랜타의 교사들도, MAU를 좇던 팀도, 인지도 설문 표본을 좁히던 마케터도 나쁜 사람들이 아니었다. 각자의 자리에서 주어진 숫자를 향해 성실히 움직였을 뿐이다. 문제는 도구의 정교함이 아니라, 그 도구가 가리키는 방향과 우리가 실제로 가려던 곳 사이의 거리를 아무도 계속 재지 않았다는 데 있다. 더 정교한 지도를 만드는 일은 계속해야 한다. 다만 그 지도를 손에 쥐고서도, 발밑의 땅은 지도가 아니라는 사실만은 잊지 않아야 한다.

A better map still isn't the ground you're standing on.