숫자는 거짓말한다

분기 목표를 전부 달성했다는 보고가 올라올 때, 진짜 질문은 그다음에 와야 한다. 숫자가 좋아졌다는 것과, 좋아졌어야 할 것이 진짜로 좋아졌다는 것은 다른 이야기다.

전략 기획 회의였다. 시니어 리더가 보드에 숫자를 적었다. 매출 성장률 15%, 신규 고객 획득 비용 10% 절감, 재구매율 5% 향상, 고객 만족도 4.2점 이상. 숫자마다 담당자 이름이 붙었다. "신규 고객 획득 비용 10% 절감"은 마케팅 팀장 몫, "재구매율 5% 향상"은 CRM 팀장 몫. 막연한 "더 잘하자"가 아니라 잴 수 있고 책임질 수 있는 목표였다. 회의실을 나서는 모두가 자신이 무엇을 해야 하는지 정확히 알고 있었다. 좋은 회의였다는 인상이 남았다.

분기가 끝났다. 매출 17%, 획득 비용 13% 절감, 재구매율 6%, 만족도 4.3점. 전부 초과 달성. 축하가 이어졌다.

그런데 그 회의실에서 아무도 묻지 않은 질문들이 있었다. 그 신규 고객은 브랜드가 좋아서 왔나, 할인 때문에 왔나. 재구매율이 오른 건 만족해서인가, 해지가 번거로워져서인가. 만족도 4.3점은 정말 만족의 크기인가, 아니면 좋은 점수를 부탁받은 결과인가. 숫자는 달성됐다. 숫자가 달성됐다는 것이 목표가 달성됐다는 것과 같은 말인지를, 아무도 되묻지 않았을 뿐이다.

이유가 있었다. 마케팅 팀은 획득 비용을 줄이려 타깃을 좁혔다. 이미 전환 가능성이 높은 사람들에게만 광고를 집중했다. 전환율이 오르고 비용이 내려가니 지표는 즉시 좋아졌다. 대신 브랜드를 처음 만나는 사람의 수가 줄었다는 사실은, 이번 분기 숫자 어디에도 나타나지 않았다. 다음 분기, 그다음 분기가 되어서야 신규 유입의 풀 자체가 줄어드는 형태로 드러날 일이었다. CRM 팀은 재구매율을 올리려 해지 절차를 더 복잡하게 만들었다. 해지 버튼을 눈에 덜 띄게 옮기고, 해지하려는 순간 할인 오퍼 화면을 한 겹 끼워 넣었다. 재구매율은 올랐다. 그런데 그게 만족의 증거인지, 탈출을 막는 구조의 효과인지는 그 지표 하나만으로는 끝내 알 수 없었다.

몇 달 뒤 다른 숫자들이 도착했다. 신규 고객의 첫 재구매율이 이전 코호트보다 낮았다. 반품이 늘었다. 소셜미디어에서 브랜드에 대한 부정적 언급이 늘었다. 할인 때문에 왔던 고객들은 다음 구매에서도 할인을 기대했다. 분기 지표를 채우기 위한 방법들이, 그보다 긴 시간 지평의 가치를 갉아먹고 있었던 것이다. 지표는 전부 달성됐는데, 브랜드는 나빠지고 있었다.

이게 명확성의 함정이다. 측정 가능한 것을 명확하게 관리할수록, 측정하기 어려운 것이 체계적으로 무시된다. 명확한 지표를 좇는 데 몰두할수록, 그 지표가 원래 대신 말해주려던 실제 목표에서는 오히려 멀어진다.

명확성의 함정: 측정 가능한 것을 명확하게 관리할수록, 측정하기 어려운 것이 체계적으로 무시된다.

이 회의실 풍경이 특별한 사고처럼 보인다면, 그건 착각이다. 오히려 이 회의는 잘 돌아가는 조직의 전형이었다. 목표가 구체적이었고, 책임이 나뉘어 있었고, 결과가 측정됐다. 경영 교과서가 권하는 그대로 했을 뿐이다. 문제는 그렇게 제대로 한 결과가, 왜 브랜드를 갉아먹는 쪽으로 흘렀느냐는 것이다.

명확성이라는 덕목

명확성은 좋은 경영의 기본 조건으로 통한다. "측정할 수 없으면 관리할 수 없다" — 경영 교과서에 단골로 등장하는 문장이다. 흔히 피터 드러커의 말로 알려져 있지만, 정작 그의 저작 어디에서도 이 정확한 문구는 확인되지 않는다는 지적이 오래됐다. 오히려 드러커는 "측정할 수 없는 것이 측정 가능한 것보다 덜 중요하다고 여기는 것이 위험한 가정"이라고 말했다고 전해진다. 명확성을 정당화하려고 가장 많이 소환되는 인용구가, 정작 그 명확성을 지지하지 않는 사람의 말일 수 있다는 것. 이 아이러니 자체가 명확성의 함정을 작게 요약한다.

그렇다고 명확성의 가치를 부정할 수는 없다. 목표가 모호하면 팀은 서로 다른 방향으로 뛴다. 측정 기준이 없으면 성과를 평가할 방법이 없다. 피드백이 없으면 개선도 없다. 데이터 기반 의사결정이 직관에만 기댄 결정보다 더 일관된 결과를 만든다는 것도 경험적으로 맞다. 명확성을 추구하는 조직이 대체로 더 잘 굴러간다. 이 점에서 그 회의실의 리더는 틀리지 않았다. 그는 정확히 좋은 경영이 하라는 대로 했다.

문제는 그다음이다. 명확하게 잴 수 있는 것은, 우리가 실제로 원하는 것의 일부일 뿐이다. 그 일부를 전체인 양 관리하기 시작할 때 함정이 열린다. 측정 가능한 지표는 측정 불가능한 진짜 목표를 대리(proxy)한다. 그런데 대리를 본체처럼 다루기 시작하면, 대리와 본체 사이의 거리가 벌어진다. 그리고 그 거리를 벌리는 쪽이, 명확한 지표를 가진 조직 안에서는 지극히 합리적인 선택이 되어버린다.

이 현상에는 이름이 있다. 굿하트의 법칙(Goodhart's Law). "어떤 지표가 목표가 되면, 그것은 좋은 지표이기를 멈춘다." 지표가 목표로 승격되는 순간, 사람들은 실제 목표보다 그 지표를 달성하는 쪽으로 행동을 최적화한다. 지표는 더 이상 진짜 목표의 믿을 만한 대리인이 아니게 된다.

어떤 지표가 목표가 되면, 그것은 좋은 지표이기를 멈춘다.

When a measure becomes a target, it ceases to be a good measure.

— 찰스 굿하트(Charles Goodhart)

가장 많이 인용되는 경영 격언 중 하나가 실은 출처조차 불분명한 채로 조직의 측정 문화를 정당화하는 데 쓰이고 있다는 것. 그리고 정작 그 문화가 만든 결과를 설명하는 진짜 이름 — 굿하트의 법칙 — 은 회의실에서 거의 언급되지 않는다는 것. 이 두 사실이 나란히 있다는 사실 자체가, 우리가 명확성을 대하는 태도를 보여준다. 명확성은 반기지만, 명확성의 대가는 반기지 않는 것이다. 좋은 인용구는 회의를 짧게 끝내주지만, 짧게 끝난 회의가 늘 옳은 결론을 낸 회의는 아니다.

두 개의 위험 사이

명확성이 가치 있다는 사실이 이 역설을 더 날카롭게 만든다. 명확한 지표가 없으면 조직은 방향을 잃는다. 팀마다 서로 다른 감으로 움직이고, 누구도 성과를 설명하지 못한다. 반대로 명확한 지표가 있으면, 조직은 그 지표를 향해 달리다 정작 원래 목표에서 멀어질 수 있다. 지표가 없어서 헤매는 위험과, 지표가 있어서 잘못된 방향으로 확신에 차 달리는 위험. 둘 다 진짜 위험이고, 둘 중 하나를 없앤다고 다른 하나가 사라지지 않는다.

많은 조직이 이 균형을 한쪽으로만 풀려고 한다. 방향을 잃는 게 두려워 지표를 더 촘촘히 만든다. 지표가 촘촘해질수록 그 지표를 좇는 행동도 촘촘하게 최적화된다. 결과는 더 정교한 방식으로 원래 목표에서 멀어지는 조직이다. 지표가 성긴 조직은 헤매다가 스스로 그걸 알아챌 여지라도 있다. 지표가 촘촘한 조직은 헤매고 있다는 사실조차 대시보드 뒤에 가려진다. 초록불이 켜져 있는데 의심할 이유가 어디 있느냐는 확신이, 그 자체로 함정의 일부다.

이 두 위험 사이 어디쯤에서 균형을 잡는 것. 그게 명확성을 제대로 쓴다는 것의 실체다. 지표를 없애자는 이야기가 아니다. 지표가 무엇을 대신 말해주고 있는지를, 지표가 좋아 보일 때일수록 더 자주 되묻자는 이야기다.

굿하트의 법칙은 어디서 시작해 어디까지 번졌나

굿하트의 법칙은 학문적 개념처럼 들리지만, 시작은 아주 실무적인 자리였다. 찰스 굿하트는 1970년대 영국 중앙은행의 수석 경제학자였다. 통화 정책 지표들이 어떻게 무력화되는지 관찰하다가 이 법칙을 제안했다. 정부가 특정 경제 지표를 정책 목표로 못박으면, 그 지표는 실제 경제 상태와 슬며시 분리되기 시작한다는 것이다. 통화량을 통제 지표로 삼으면, 금융기관들은 그 통화량 정의에 걸리지 않는 새 금융 상품을 만들어 실질 유동성을 늘린다. 지표를 우회하는 것이다. 정책 입안자는 지표는 달성했지만, 경제를 안정시킨다는 진짜 목표에서는 멀어진다. 중앙은행조차, 자신이 만든 지표가 자신을 속이는 걸 막지 못했다.

여기서 눈여겨볼 것은 굿하트가 발견한 게 어떤 예외적 실패 사례가 아니라는 점이다. 그는 지표라는 것 자체의 구조적 성질을 짚었다. 지표는 항상 현실의 일부만 담는다. 그 일부가 목표를 대신하기 시작하는 순간, 현실의 나머지 부분은 그 지표를 유리하게 만드는 데 동원될 수 있는 여지로 바뀐다. 통화량이든 페이지뷰든, 이 성질은 지표의 종류를 가리지 않는다.

이후 이 법칙은 경제학 담장을 넘어 조직 관리, 교육, 의료, 인공지능 연구까지 번졌다. 분야는 다 달라도 메커니즘은 하나였다. 지표를 정해두면, 그 지표를 채우는 가장 쉬운 길과 진짜 목표에 도달하는 길이 갈라지는 지점이 반드시 생긴다는 것. 그리고 사람도 조직도, 대개 더 쉬운 길을 택한다. 그게 이 법칙이 반세기 넘게 여러 분야에서 다시 발견되는 이유다.

고객 서비스 팀에 "전화 대기 시간 2분 이내"라는 목표가 생겼다고 하자. 이 목표를 채우는 방법은 두 가지다. 상담원을 늘리고 프로세스를 손봐서 실제로 고객을 더 빨리 돕는 것. 아니면 2분을 넘길 것 같은 전화를 먼저 끊거나 자동화 시스템으로 돌려서, 지표상으로만 2분 안에 "처리"되게 만드는 것. 둘째 방법이 훨씬 빠르고 훨씬 싸게 지표를 채운다. 그런데 그건 "고객을 빠르고 잘 돕는다"는 진짜 목표에서 오히려 멀어지는 길이다. 대시보드는 초록불이고, 정작 전화를 건 고객은 아무것도 해결하지 못한 채 끊는다.

이 패턴은 조직의 모든 층위에서 같은 모양으로 되풀이된다. 영업팀 지표가 "계약 건수"면, 시간을 들여 큰 계약을 키우기보다 작은 계약을 빠르게 여러 건 닫는 쪽으로 팀이 기운다. 그게 지표를 더 높이니까. 콘텐츠팀 지표가 "페이지뷰"면, 독자에게 진짜 도움이 되는 글보다 자극적인 제목의 클릭베이트가 이긴다. 그게 지표를 더 높이니까. 팀원 각자는 자신에게 주어진 지표를 향해 성실하고 합리적으로 움직인다. 누구도 지표를 속인다고 생각하지 않는다. 그런데 그 합리적인 움직임들을 다 더하면, 조직 전체는 진짜 목표에서 조용히, 그러나 꾸준히 멀어져 있다.

밖에서 보면 이상해 보이지만, 안에서는 전혀 이상하지 않다. 각자의 자리에서는 지표를 채우는 것이 곧 잘하는 일이다. 팀장은 팀원의 성과를 지표로 평가하고, 팀원은 그 지표를 최적화하는 게 자신의 일이라고 믿는다. 지표와 목표 사이의 거리를 의심하는 것은 누구의 공식 업무도 아니다. 그래서 그 거리는 아무도 반대하지 않은 채로 조용히 벌어진다.

그래서 진짜 해법은 도덕적 훈계가 아니라 설계다. 지표를 처음 만들 때부터 대리와 목표 사이의 거리를 좁히거나, 그 거리를 이용하는 지름길을 미리 막아두는 것. 팀장이 회의실에서 "정직하게 일해달라"고 말하는 것보다, 애초에 그 거리를 파고들 틈을 지표 설계 단계에서 줄이는 쪽이 훨씬 오래 간다. "전화 대기 시간"만 볼 게 아니라 "재문의율"을 함께 보는 것, "계약 건수"만 볼 게 아니라 "6개월 후 계약 유지율"을 함께 보는 것. 지표 하나가 아니라 지표들의 관계를 설계하는 일이다.

이건 특정 팀의 게으름이나 부정직함의 문제가 아니다. 각 팀원은 성실했다. 자신에게 주어진 숫자를 향해 최선을 다했을 뿐이다. 문제는 그 숫자 하나하나가 성실하게 채워질수록, 그 숫자들이 원래 대신 말해주려 했던 것 — 좋은 고객 경험, 건강한 브랜드 관계 — 과의 거리가 조용히 벌어졌다는 데 있다. 나쁜 의도가 아니라 좋은 의도가 만드는 함정이라는 것. 이게 명확성의 함정을 유독 알아채기 어렵게 만든다. 나쁜 의도는 눈에 띄고 비판하기 쉽다. 좋은 의도로 만든 시스템의 구조적 결함은, 성과가 좋아 보이는 동안에는 아무에게도 보이지 않는다. 오히려 성과가 좋을수록 그 시스템에 의문을 제기하기가 더 어려워진다. 잘 되고 있는데 왜 굳이 묻느냐는 질문이, 가장 물어야 할 순간에 그 질문을 막는다.

숫자는 거짓말하지 않는다. 다만 숫자가 무엇을 말하지 않는지는, 숫자 자신이 알려주지 않는다. 이번 분기 대시보드가 초록불이라는 것과, 브랜드가 실제로 더 건강해졌다는 것 사이에는 늘 이만큼의 거리가 있다. 그 거리를 매번 캐묻는 습관 — 지표가 좋을 때일수록 더 날카롭게 캐묻는 습관이, 명확성을 포기하지 않으면서 명확성의 함정을 피하는 유일한 방법이다.

다시 그 회의실로 돌아가 보자. 보드에 적힌 네 개의 숫자는 전부 틀리지 않았다. 매출은 실제로 늘었고, 비용은 실제로 줄었다. 문제는 숫자가 아니라 질문의 순서였다. "이 숫자를 어떻게 달성할 것인가"를 묻기 전에, "이 숫자가 우리가 정말 원하는 것을 대신 말해주고 있는가"를 먼저 물었어야 했다. 그 질문 하나가 회의 안건에 없었다는 것. 축하와 함께 분기가 마감된 이유는 딱 거기에 있었다. 이 침묵이 실제 브랜드 앞에서 어떻게 더 크게 벌어지는지는, 다음 편에서 이어간다.

The sharper the number, the blurrier the truth it was standing in for.