유령 계좌의 탄생

지표를 채우는 가장 빠른 길이 있다. 그 길은 대개, 지표를 조작하는 길이다.

웰스파고는 오랫동안 교차판매(cross-selling)를 핵심 성장 지표로 삼았다. 한 고객이 여러 금융 상품을 갖게 만드는 일이다. 체크카드로 들어온 고객에게 신용카드를 얹고, 신용카드 고객에게 예금 계좌를 얹는다. '고객 1인당 평균 보유 계좌 수' — 이 숫자가 지점 성과 평가의 핵심 지표였다.

지표로서 나쁘지 않아 보인다. 명확하고, 측정하기 쉽고, 담당자도 분명하다. 실제로 이 숫자는 2016년 스캔들이 터지기 전까지 꾸준히 올라갔다. 몇 해에 걸쳐, 이 그래프는 분기마다 성장의 증거로 보고됐을 것이다. 고객과의 관계가 점점 깊어지고 있다는, 아주 설득력 있는 증거로.

그런데 상승하는 그래프와 실제로 좋아지는 관계는 다른 것이다. 이 둘 사이의 거리가 벌어지는 방식을, 웰스파고만큼 선명하게 보여주는 사례도 드물다.

이 이야기가 남의 회사, 남의 업종의 스캔들처럼 느껴진다면 아직 절반만 읽은 것이다. 흥미로운 지점은 은행이 저지른 잘못의 크기가 아니라, 지표가 목표로 승격되는 순간 벌어지는 일이 업종을 가리지 않는다는 데 있다. 계좌 수 대신 전환율을, 지점 대신 마케팅팀을 넣어도 같은 이야기가 된다.

계좌 수가 실적이 될 때

문제는 그 숫자를 채우는 방법에 있었다. 지점마다 목표가 걸렸고, 목표를 채우라는 압박이 매일 내려왔다. 그런데 실제 고객에게 상품을 하나 더 파는 일은 쉽지 않다. 설득이 필요하고, 시간이 걸리고, 거절도 당한다. 반면 숫자를 올리는 훨씬 빠른 길이 있었다 — 계좌를 하나 더 '만드는' 것. 고객의 동의 없이.

직원들은 고객 몰래 신용카드를 발급하고, 아무도 쓰지 않을 계좌를 열었다. 서류상으로는 정상적인 신규 계좌였다. 지점 목표를 채우기 위한 압박이 너무 컸고, 그 압박 아래에서 가장 빠른 길은 상품을 파는 대신 지표를 만드는 것이었다. 한두 명의 일탈이 아니었다. 같은 압박이 여러 지점, 여러 직원에게 똑같이 걸려 있었고, 그래서 같은 선택이 조직 곳곳에서 동시에 반복됐다. 이렇게 수백만 개의 유령 계좌가 태어났다.

이 일이 오래 발각되지 않은 이유도 여기에 있다. 대시보드 위에서 유령 계좌는 진짜 계좌와 구분되지 않는다. 숫자는 숫자다. '고객 1인당 보유 계좌 수'라는 한 줄짜리 지표는, 그 계좌가 어떻게 태어났는지를 묻지 않는다. 지표가 단순할수록 그 지표를 조작하는 흔적도 지표 자신에게는 보이지 않는다.

숫자는 달성됐다

그 유령 계좌들도 '보유 계좌 수'에 그대로 더해졌다. 지표는 달성됐다. 그런데 그 지표가 대리하려던 실제 목표 — 고객과의 깊은 금융 관계 — 는 정반대 방향으로 가고 있었다. 고객은 자신도 모르는 계좌 때문에 수수료를 냈고, 낯선 신용카드 때문에 신용점수가 흔들렸다. 그 사실을 알게 됐을 때 남은 선택은 하나, 은행을 떠나는 것이었다.

가장 아이러니한 지점이 여기다. 지표가 재려던 것은 원래 '고객이 이 은행을 더 깊이 신뢰해서 상품을 더 맡긴다'는 상태였다. 그런데 그 지표를 채우는 과정이 신뢰를 정확히 반대 방향으로 밀어냈다. 숫자는 관계가 깊어지고 있다고 말하는데, 관계는 그 숫자가 만들어지는 동안 조용히 부서지고 있었던 것이다.

지표는 달성됐다. 그 지표가 대리하려던 것은 정반대로 가고 있었다.

웰스파고 사례는 규모 때문에 극단적으로 보인다. 그런데 메커니즘 자체는 특별하지 않다. 계좌를 무단으로 개설하는 것과, 만족도 설문에서 좋은 점수를 받으려고 고객에게 슬쩍 평점을 부탁하는 것 사이의 구조적 차이는 크지 않다. 둘 다 지표를 달성하기 위해, 그 지표가 재려던 실제 가치를 우회한다. 하나는 뉴스가 되고 하나는 되지 않을 뿐, 논리는 같다.

이 현상에는 이름을 붙일 수 있다. 지표 왜곡(metric distortion) — 지표를 달성하기 위한 행동이 그 지표가 대리하려던 실제 가치를 갉아먹는 것. 각 팀원은 자신에게 주어진 숫자를 향해 성실하고 합리적으로 움직인다. 누구도 스스로를 부정직하다고 여기지 않는다. 그런데 그 합리적인 움직임들의 총합이, 조직 전체를 진짜 목표에서 멀어지게 만든다.

여기서 한 가지는 분명히 해두자. 계좌를 무단으로 만드는 것과 설문 점수를 부탁하는 것은 죄질이 같지 않다. 하나는 범죄이고 하나는 관행이다. 그런데 지표 왜곡이라는 렌즈로 보면, 둘은 같은 스펙트럼 위에 있다. 지표를 채우는 방법 중 실제 가치를 만드는 방법과, 지표만 채우는 방법이 공존할 때 후자를 고르는 것. 웰스파고는 그 스펙트럼의 끝까지 간 사례일 뿐, 스펙트럼 자체를 만든 것은 아니다.

스펙트럼이라는 말이 중요하다. 스펙트럼은 어느 지점에서 갑자기 시작되지 않는다. 작은 관행 하나를 눈감아 주는 조직은, 그 관행이 어디까지 갈 수 있는지를 미리 그어둔 적이 없는 조직이다. 선이 없으면, 그 선은 결국 가장 급한 사람이 가장 압박이 심한 순간에 긋게 된다.

지표를 이기는 두 가지 길

지표 왜곡이 일어나는 가장 흔한 방식이 '지표 게임(metric gaming)'이다. 지표를 채우는 길은 늘 두 갈래로 갈린다 — 실제 가치를 만들며 채우는 느린 길과, 지표만 채우는 빠른 길. 앱 다운로드 수가 목표라면, 앱의 가치를 높여 자연 다운로드를 늘리는 것과 광고비를 태워 다운로드 숫자만 사 오는 것, 둘 다 같은 숫자를 채운다. 전자는 느리지만 쌓이고, 후자는 빠르지만 흩어진다. 그런데 이번 분기 마감 앞에서는 흩어질 길이 언제나 더 매력적이다.

이커머스에서 이 갈림길이 특히 선명하다. 전환율이 핵심 지표인 팀은 전환율을 올리는 방법을 끊임없이 찾는다. "이 상품이 곧 품절됩니다", "이 가격은 오늘까지입니다" — 실제로는 아닌 문구들이다. 단기 전환율은 오른다. 그런데 그 문구가 갉아먹는 신뢰는 전환율이라는 지표에 나타나지 않는다. 반복 구매율, 브랜드 신뢰, 고객 생애 가치 — 청구서는 나중에, 다른 지표로 날아온다. 이번 분기 대시보드를 만든 사람과 다음 해 그 청구서를 받는 사람이 같은 사람이 아닐 때, 이 거래는 더 쉽게 성립한다.

지표를 채우는 방법에는 늘 두 갈래가 있다 — 가치를 만드는 느린 길과, 지표만 채우는 빠른 길.

웰스파고의 지점 목표와 이커머스 팀의 분기 전환율은, 겉보기엔 멀리 떨어진 이야기다. 그런데 압박의 구조는 같다. 숫자를 채워야 하는 마감이 있고, 그 마감 앞에서 가치를 만드는 길과 숫자만 만드는 길이 갈라진다. 마감이 촉박할수록, 조직이 그 갈림길에서 후자를 고를 확률은 높아진다.

보기 쉬운 것에 돈이 몰린다

조직이 무엇을 측정할지 정하는 일 자체가 이미 편향돼 있다. 측정하기 쉬운 것, 좋아 보이는 숫자, 지금 성과가 좋은 것 — 이런 것들이 지표로 뽑히는 경향이 있다. 이 경향에도 이름이 있다. 지표 선택 편향(metric selection bias) — 무엇을 잴지 정하는 그 순간부터 이미 방향이 정해져 있는 것. 그래서 조직은 정말 중요한 것이 아니라, 재기 쉽고 지금 보기 좋은 것을 관리하게 된다.

이 편향이 가장 뚜렷하게 드러나는 자리가 연간 예산 회의다. "지난 분기 광고 대비 매출 4.2배"는 숫자 한 줄로 완결되는 주장이다. "이 브랜드 캠페인이 2년 뒤 가격 프리미엄을 지켜줄 것"은 증명할 길이 마땅치 않은 주장이다. 회의실에서 숫자는 늘 개념을 이긴다. 예산은 측정 가능한 쪽으로 흐르고, 측정하기 어려운 브랜드 자산은 조용히 뒷전으로 밀린다.

게다가 이 쏠림은 데이터 역량이 좋아질수록 오히려 심해진다. 잴 수 있는 것을 더 정교하게 잴 수 있게 될수록, 그 숫자에 대한 신뢰가 커진다. 신뢰가 커질수록 더 많은 예산이 그 숫자로 몰린다. 반면 잴 수 없는 것은 도구가 아무리 발전해도 여전히 흐릿한 채로 남는다. 조직의 분석 역량이 높아질수록, 측정 가능한 것과 측정 어려운 것 사이의 격차는 좁혀지는 게 아니라 벌어진다. 더 정밀한 대시보드를 갖는 것이, 역설적으로 덜 정밀한 판단을 부추기는 셈이다.

디지털 전환이 마케팅 조직 안에서 브랜드 투자 비중을 줄이고 퍼포먼스 마케팅 비중을 늘리는 흐름과 이어지는 지점도 여기다. 클릭과 전환은 실시간으로, 소수점 단위까지 보인다. 브랜드가 사람들의 기억 속에 쌓아온 것은 그렇게 보이지 않는다. 보이는 쪽이 예산을 가져가는 것은 자연스러운 결과이지, 누군가 브랜드를 홀대하기로 결정한 결과가 아니다.

짧은 것만 보이는 이유

측정하기 쉬운 것은 대개 짧은 것이다. 이번 달 매출, 이번 주 방문자, 어제의 전환율. 정말 중요할 수도 있는 것 — 브랜드 자산의 가치, 고객 기반의 질, 조직 역량의 성장 — 은 재는 데 오래 걸리고, 잘 재지지도 않는다. 지표의 시간 편향(temporal bias in metrics)이다. 측정 가능한 것이 단기에 몰려 있으니, 그 지표를 관리하는 일 자체가 장기 가치를 갉아먹는 방향으로 기울어진다.

이 쏠림은 보상 구조와 만나면 더 단단해진다. 임원 보너스가 올해 매출에 걸려 있다면, 올해 숫자를 올리는 것과 3년 뒤 브랜드를 지키는 것 사이에서 전자를 고르는 게 개인에게는 합리적인 선택이다. 제약회사가 연구개발 투자를 줄이고 마케팅 비용을 늘리는 것, 소비재 회사가 브랜드 투자를 줄이고 단기 프로모션을 늘리는 것 — 이런 패턴이 낯설지 않은 이유가 여기 있다. 측정 지표가 단기에 쏠려 있고, 보상 구조가 그 지표에 연동돼 있으면, 장기 가치를 갉아먹는 선택이 개인에게는 매번 최적의 선택이 된다.

이 선택은 어느 한 사람이 나빠서 벌어지지 않는다. 올해 숫자로 평가받고, 올해 숫자로 승진하고, 올해 숫자로 보너스를 받는 사람에게 3년 뒤의 브랜드는 남의 숙제처럼 느껴진다. 그 숙제를 떠안는 사람은 대개, 지금 이 결정을 내린 사람이 그 자리를 떠난 뒤에 온다.

좋아요는 무엇을 말하지 않는가

소셜미디어 지표에서 이 함정은 특히 날카롭다. 좋아요, 팔로워 수, 도달 수 — 이것들이 쉽게 재지기 때문에 목표가 됐고, 목표가 됐기 때문에 그것을 채우기 위한 콘텐츠가 만들어진다. 팔로워를 늘리는 데 잘 먹히는 콘텐츠는 대개 논쟁적이거나, 유머러스하거나, 트렌드를 빠르게 좇는 것들이다. 그 콘텐츠가 브랜드가 원하는 고객을 실제로 데려오는지는, 팔로워 수라는 숫자 혼자서는 말해주지 않는다.

댓글이 많이 달린 게시물이 브랜드에 호의적이어서 그런 건지, 논란이 일어 비난 댓글이 쏟아진 건지도 댓글 수는 구분하지 않는다. "바이럴됐다"는 사실이 좋은 이유로 바이럴됐는지 나쁜 이유로 바이럴됐는지를, 도달 수나 공유 수는 구분하지 않는다. 알고리즘은 감정적 반응을 유발하는 콘텐츠를 밀어주도록 설계돼 있다. 그 지표를 목표로 삼는 순간, 브랜드는 알고리즘이 좋아하는 콘텐츠 쪽으로 서서히 끌려간다. 그 콘텐츠가 브랜드를 쌓고 있는지 갉아먹고 있는지는, 정작 이 숫자들에는 나타나지 않는다.

팔로워 백만 명짜리 계정이, 실제로 그 브랜드의 제품을 살 의향이 있는 사람들로 채워져 있는지 아니면 재미있는 밈에 반응했을 뿐인 사람들로 채워져 있는지도, 팔로워 수라는 지표 하나만으로는 끝내 알 수 없다. 숫자는 커지는데 정작 그 숫자가 무엇으로 이루어져 있는지는, 그 지표를 보는 사람에게 늘 흐릿하다.

그런데도 이번 분기 마케팅 보고서에서 팔로워 증가율은 언제나 좋은 그래프로 그려진다. 웰스파고의 보유 계좌 수 그래프가 그랬듯이. 그래프가 우상향한다는 사실은, 그 그래프가 대리하려던 것도 함께 좋아지고 있다는 뜻이 아니다. 두 그래프의 모양은 같아 보여도, 그 아래서 자라고 있는 것은 완전히 다를 수 있다.

웰스파고의 유령 계좌는 극단적 사례라서 눈에 띈다. 그런데 그 논리는 특별하지 않다. 어느 조직에나 있는 회의실에서, 어느 팀의 이번 분기 목표 앞에서 매일 조용히 반복된다. 계좌를 무단으로 만드는 것과, 전환율을 올리려 허위 품절 문구를 붙이는 것과, 팔로워를 늘리려 자극적인 콘텐츠를 올리는 것 — 크기만 다를 뿐 같은 선택이다. 규모가 다르다고 논리가 다른 것은 아니다.

다시 처음의 그래프로 돌아가 보자. 몇 해 동안 꾸준히 우상향했던 선. 그 선이 보여준 것은 사실 성장이 아니라, 성장처럼 보이도록 채워 넣은 숫자들이었다. 선이 꺾이고 나서야, 그 아래 무엇이 쌓여 있었는지가 드러났다.

지표가 목표가 되는 순간, 그 지표를 채우는 가장 빠른 길이 무엇인지부터 다시 물어야 한다. 대개 그 길의 이름은, 조작이다. 그리고 그 조작은 대부분 악당의 얼굴을 하고 있지 않다. 이번 분기 목표를 채우려는, 지극히 성실한 얼굴을 하고 있다.

웰스파고의 직원들도 대부분 성실했을 것이다. 매일 아침 출근해서, 주어진 목표를 향해 최선을 다했을 것이다. 문제는 성실함이 부족했던 게 아니라, 그 성실함이 향한 방향이 지표였지 고객이 아니었다는 데 있다. 지표와 고객 사이의 거리가 벌어진 채로 방치되는 한, 다음번 유령 계좌는 은행이 아닌 다른 어딘가에서, 다른 이름의 숫자로 다시 태어난다.

The number was never the goal. It was only ever supposed to point at one.