도구가 만드는 착시

질문을 어떻게 던지느냐가, 이미 답의 절반을 정해놓는다. 도구는 중립적이지 않다.

이 시리즈는 앞서 두 가지 함정을 다뤘다. 고객이 말한 것과 실제로 원하는 것 사이의 간극. 그리고 목소리 큰 소수와 침묵하는 다수 사이의 간극. 두 함정 모두 '누구의 말을, 어떻게 해석하는가'의 문제였다. 그런데 함정은 한 겹 더 있다. 올바른 사람에게, 올바른 태도로 물어도 지워지지 않는 함정이다. 도구 자체가 답을 비튼다.

설문은 설문대로, 포커스 그룹은 포커스 그룹대로, A/B 테스트는 A/B 테스트대로 저마다 다른 방식으로 왜곡한다. 이 왜곡은 조사자의 실수가 아니다. 도구가 작동하는 방식 자체에 새겨져 있다. 그래서 아무리 성실하게 설계해도 사라지지 않고, 다만 관리할 수 있을 뿐이다. 각 도구가 답변에 남기는 흔적을 도구의 지문이라 부를 수 있다. 지문을 모르고 데이터를 읽으면, 도구가 만든 무늬를 소비자의 진심으로 착각하게 된다.

문제는 이 지문이 도구마다 다르게 생겼다는 데 있다. 설문의 지문과 포커스 그룹의 지문은 서로 다른 모양으로 답을 비튼다. 하나의 도구가 남긴 왜곡을 다른 도구의 결과와 겹쳐 보면 그제야 지문의 윤곽이 드러난다. 그런데 대부분의 조사는 한 가지 도구로 끝난다. 예산과 시간이 한정돼 있으니 설문 하나, 인터뷰 몇 건으로 결론을 낸다. 지문은 그대로 소비자의 얼굴로 둔갑한다.

설문은 왜 예의 바르게 거짓말하는가?

설문에는 사회적 바람직성 편향(Social Desirability Bias)이 있다. 응답자는 옳다고 여겨지는 답을 고르려는 경향이 있다. "환경을 고려한 포장을 원하십니까?"라고 물으면 대부분 그렇다고 답한다. 그런데 실제 구매에서 친환경 포장을 위해 더 높은 가격을 지불하는 소비자는 훨씬 적다. 응답자가 거짓말을 한 게 아니다. 설문지 앞에서의 나와, 계산대 앞에서의 나는 서로 다른 기준으로 판단한다. 설문지 앞에서는 옳은 사람이 되고, 계산대 앞에서는 지갑을 여는 사람이 된다.

이 편향은 도덕적으로 무거운 질문일수록 강해진다. 건강, 환경, 공정함처럼 사회적으로 정답이 정해진 주제라면, 응답자는 자신의 실제 행동보다 자신이 되고 싶은 모습을 답으로 낸다. 문제는 이 답이 거짓처럼 들리지 않는다는 데 있다. 응답자 본인도 그 순간엔 진심으로 그렇게 믿는다. 그래서 조사자도 의심할 이유를 찾지 못한다.

응답지 설계도 비슷한 방식으로 답을 미리 정해놓는다. "제품을 개선할 항목을 고르세요: 디자인 / 기능 / 가격 / 배송" — 이 목록에 '없다'는 선택지가 없다. 응답자는 어쩔 수 없이 하나를 고른다. 그 결과가 '소비자는 디자인 개선을 가장 원한다'는 데이터로 정리된다. 그런데 실제로는 아무것도 바꾸지 않아도 됐을 소비자가 목록 중 가장 그럴듯한 것을 골랐을 뿐일 수 있다. 설계자가 상상하지 못한 선택지는 애초에 데이터에 등장할 자리가 없다.

이 두 가지 편향은 방향이 다르지만 결과는 같다. 소비자가 실제로 생각하는 폭보다 좁은 답변지가 완성되고, 그 답변지가 전략의 근거로 쓰인다. 설문 결과지에는 응답률과 순위만 남고, '이 질문이 답을 유도했는지', '이 선택지 밖에 다른 진심이 있었는지'는 남지 않는다. 숫자는 정확해 보이지만, 그 정확함은 질문이 허용한 범위 안에서만 정확하다.

설문은 소비자가 실제로 생각하는 것이 아니라, 소비자가 말하기 편한 것을 모은다.

한 사람의 목소리가 방을 물들일 때

포커스 그룹에는 집단사고(Groupthink)라는 다른 종류의 왜곡이 있다. 여러 명이 한자리에 모이면 서로의 발언이 서로에게 영향을 준다. 먼저 말한 사람이 강한 의견을 내면, 나머지는 그것에 동의하거나 비슷한 방향으로 말하려는 압력을 느낀다. 개인 인터뷰라면 나오지 않았을 의견이 집단 안에서는 증폭되거나 반대로 눌려서 사라진다. 포커스 그룹의 결과는 '소비자들이 이렇게 생각한다'가 아니라 '이 특정한 방 안에서 이런 결론이 나왔다'로 읽어야 정확하다. 그런데 실무에서는 이 결과가 소비자 전반의 의견처럼 그대로 취급되곤 한다.

포커스 그룹에는 전문가 소비자(Expert Consumer) 효과도 겹친다. 참가자는 자신이 조사에 참여하고 있다는 사실을 의식한다. 그 순간부터 평소보다 훨씬 많이 생각하고, 훨씬 적극적으로 의견을 낸다. 특히 창의적인 아이디어를 물으면 참가자들은 열심히 제안을 쏟아낸다. 그런데 이 아이디어들은 '그 방 안, 그 상황에서 생각해낸 것'이지, 실제 매장이나 앱 앞에서 소비자가 원하는 것과 같다는 보장이 없다. 포커스 그룹에서 좋다는 반응을 얻은 기능이 출시 후에는 쓰이지 않는 경우가 흔한 이유가 여기에 있다.

두 편향은 서로를 강화한다. 방 안의 모두가 평소보다 더 많이 생각하는 동시에, 그 생각을 서로의 눈치를 보며 조율한다. 그 결과로 나온 합의는 매끄럽고 설득력 있게 들리지만, 방 밖의 실제 구매 행동과는 다른 이야기일 수 있다. 회의실에서 이 결과를 발표하는 순간, 매끄러움은 진실성으로 오독되기 쉽다. 발언이 정돈될수록 오히려 더 의심해야 한다.

여기에 발언 순서 문제도 겹친다. 진행자가 던진 첫 질문에 누가 먼저 답하느냐는 대체로 우연이다. 그런데 그 우연한 첫 답변이 이후 발언들의 기준점이 된다. 뒤에 말하는 사람은 앞선 답변을 반박하기보다 미세하게 조정하며 따라가는 쪽을 택한다. 논의가 끝날 무렵 방 안에는 하나의 정돈된 이야기가 남는다. 그 이야기는 참가자 각자가 처음 갖고 있던 생각의 평균이 아니라, 가장 먼저 목소리를 낸 사람의 생각이 다듬어진 결과에 가깝다.

말한 사람만 기록되는 데이터

리뷰와 소셜 미디어 언급을 분석할 때는 선택 편향(Selection Bias)이 작동한다. 리뷰를 남기는 사람, SNS에 브랜드를 언급하는 사람은 전체 구매자 중 일부일 뿐이다. 이들의 특성과 구매 동기가 전체 구매자와 같다는 보장은 없다. 매우 만족해서 리뷰를 남기는 사람과 매우 불만족해서 리뷰를 남기는 사람의 비율은 카테고리마다 다르다. 이 비율을 모른 채 리뷰 내용만 들여다보면, 실제보다 훨씬 극단적인 그림을 진짜 소비자 여론으로 착각하게 된다.

이 편향의 까다로운 점은, 리뷰 자체는 모두 진짜라는 것이다. 조작된 것도, 거짓말도 아니다. 다만 그 목소리가 전체를 대표하는지에 대한 답이 데이터 안에 들어 있지 않을 뿐이다. 리뷰 창을 아무리 오래 들여다봐도, 리뷰를 남기지 않은 사람들의 생각은 그 화면에 나타나지 않는다. 화면에 없는 것을 화면 안의 정보만으로 추측하는 순간, 판단은 이미 왜곡된 표본 위에서 시작된다.

리뷰 데이터의 또 다른 함정은, 이 데이터가 유난히 다루기 쉽다는 데 있다. 별점은 평균을 낼 수 있고, 언급 빈도는 순위를 매길 수 있고, 키워드는 그래프로 그릴 수 있다. 다루기 쉬운 데이터는 회의에서 발표하기도 쉽다. 그래서 리뷰 분석은 실제 대표성과 상관없이 전략 문서에 자주 등장한다. 데이터가 정교해 보일수록, 그 정교함이 표본의 한계를 가리는 역설이 여기서 생긴다.

두 가지 오답 중 나은 오답

A/B 테스트도 경청의 한 형태이지만, 그 자체로 충분하지는 않다. A/B 테스트는 두 선택지 중 어느 쪽이 더 나은지를 알려준다. 그런데 두 선택지가 모두 잘못된 방향일 때는, A가 B보다 나은 결과를 내도 전체적으로는 여전히 틀린 방향으로 가고 있는 것이다. 두 가지 버튼 색상 중 어느 쪽이 더 많이 클릭되는지는 테스트로 알 수 있다. 그러나 그 버튼이 애초에 그 자리에 있어야 하는지, 그 페이지의 구조 자체가 맞는지는 A/B 테스트가 답하지 못하는 질문이다.

A/B 테스트가 위험해지는 순간은 정확히 이 범위를 잊을 때다. 데이터가 명확한 숫자로 돌아오기 때문에, 팀은 그 숫자가 큰 질문에도 답을 준다고 착각하기 쉽다. 그런데 A/B 테스트는 주어진 선택지 안에서만 최적화한다. 질문의 범위를 벗어난 곳에는 애초에 데이터를 만들지 않는다. 작은 것을 정교하게 최적화하면서, 정작 그보다 큰 질문은 한 번도 테스트대에 오르지 못하는 일이 이렇게 벌어진다.

이 함정이 특히 조용한 이유는, A/B 테스트가 다른 어떤 도구보다 '과학적'이라는 인상을 주기 때문이다. 통계적 유의성, 표본 크기, 신뢰구간 — 이 언어들은 확실함의 표시로 읽힌다. 그런데 통계적으로 유의미한 결과라는 것은 두 선택지 사이의 차이가 우연이 아니라는 뜻일 뿐이다. 두 선택지 자체가 올바른 질문에서 나왔는지는 통계가 답할 영역이 아니다. 엄밀함의 언어가, 질문의 타당성까지 보증해주지는 않는다.

보고 싶은 것만 보이는 숫자

정량적 데이터에도 함정이 있다. 클릭률, 전환율, 재구매율 같은 지표는 무엇이 일어났는지는 말해주지만 왜 일어났는지는 말해주지 않는다. 어떤 캠페인 이후 전환율이 올랐다면 이유는 여럿일 수 있다. 캠페인 메시지가 효과적이었을 수도, 경쟁사가 그 시점에 광고를 줄였을 수도, 계절 효과였을 수도 있다. 데이터가 보여주는 것은 상관관계이고, 그 상관관계를 인과관계로 옮기는 것은 사람의 몫이다.

이 해석 과정에서 이미 갖고 있던 가설을 확인하는 방향으로 기우는 것이 확증 편향(Confirmation Bias)이다. 기존 가설을 뒷받침하는 데이터는 눈에 잘 들어오고, 그것을 반박하는 데이터는 예외로 처리되어 조용히 넘어간다. 숫자는 객관적으로 보이지만, 그 숫자 중 어떤 것을 근거로 채택하고 어떤 것을 잡음으로 치부할지는 이미 갖고 있던 믿음이 정한다. 경청한 내용을 해석하는 단계에도 같은 편향이 똑같이 작동한다.

확증 편향이 무서운 이유는 다른 편향들과 달리 도구 자체가 아니라 사람 안에 있기 때문이다. 설문지를 아무리 잘 설계하고, 포커스 그룹을 아무리 세심하게 진행하고, A/B 테스트를 아무리 엄밀하게 돌려도, 그 결과를 읽는 사람의 머릿속에서 마지막 왜곡이 한 번 더 일어난다. 도구의 지문을 다 지웠다고 해도, 해석하는 사람의 지문이 마지막에 남는다.

각 도구의 한계를 나란히 놓으면 그림이 분명해진다. 설문은 넓지만 얕고, 예의를 모은다. 포커스 그룹은 깊지만 방 안의 역학에 물든다. 리뷰 분석은 목소리를 낸 사람에게만 열려 있다. A/B 테스트는 주어진 선택지 밖을 보지 못한다. 행동 데이터는 결과는 보여주되 이유는 침묵한다. 이 한계를 이해하고 여러 도구를 교차해서 쓰는 것이, 하나의 도구를 과신하는 것보다 늘 더 정확하다.

도구를 내려놓고 지켜볼 때

이 모든 도구의 공통된 뿌리가 있다. 소비자를 조사 상황으로 불러와 질문을 던지는 방식 자체다. 조사 상황은 인공적인 상황이고, 그 안에서 나온 답은 실제 구매 상황과 다를 수밖에 없다. 이 뿌리를 건드리는 접근이 에스노그라피(Ethnography)다. 소비자가 실제로 제품을 사용하는 자리에서, 질문 없이 관찰하는 방식이다.

소비자는 인터뷰에서는 말하지 못했거나 스스로 의식하지도 못했던 행동을, 실제 상황에서는 무심코 드러낸다. 무엇을 먼저 만지는지, 어디서 멈칫하는지, 무엇을 건너뛰는지. 질문하지 않았기 때문에 대답을 꾸밀 이유도 없다. 이 행동들이 어쩌면 가장 정직한 소비자 데이터다. 시간과 비용이 더 들어간다는 것이 유일한 대가다. 그 대가를 치를 만큼, 전통적 도구들이 놓치는 부분을 채워준다.

역설적으로, 에스노그라피가 느리고 비싸다는 바로 그 이유 때문에 조직은 이 방법을 뒷전으로 미룬다. 분기 안에 결과를 보고해야 하는 팀에게, 몇 주씩 소비자를 따라다니며 관찰하는 방식은 사치처럼 느껴진다. 대신 하루 만에 결과가 나오는 설문, 반나절이면 끝나는 포커스 그룹을 택한다. 빠른 도구일수록 지문이 짙게 남고, 그 지문이 짙게 남을수록 결정은 더 빨리, 더 확신에 차서 내려진다. 속도와 정확도가 반대 방향으로 움직이는 지점이 바로 여기다.

에스노그라피가 다른 도구를 대체하지는 않는다. 다만 다른 도구들이 공유하는 근본적 한계, 즉 '물어봐야만 답을 얻을 수 있다'는 전제 자체에서 벗어난 유일한 방법이라는 점에서 다르다. 설문과 포커스 그룹과 A/B 테스트가 저마다 다른 방식으로 답을 왜곡하는 동안, 관찰은 애초에 답을 요구하지 않는다. 그래서 왜곡될 답도 없다.

도구를 늘리는 것 자체는 해법이 아니다. 어떤 도구도 완전하지 않다는 것을 아는 태도가 해법이다. 설문 결과 하나로 방향을 확정하지 않고, 포커스 그룹의 합의를 곧바로 시장의 합의로 옮기지 않고, A/B 테스트에서 이긴 안이 애초에 옳은 질문이었는지 되묻는 것. 이 되물음이 도구의 지문을 지우지는 못해도, 적어도 그 지문을 소비자의 진심과 혼동하지 않게는 해준다.

결국 이 함정에서 벗어나는 첫 질문은 "무엇을 들었는가"가 아니라 "무엇으로 들었는가"다. 같은 소비자, 같은 질문이라도 설문지로 물었을 때와 관찰로 확인했을 때 서로 다른 답이 나올 수 있다는 것을 받아들이는 순간, 데이터 한 장에 실려 있는 확신은 조금 옅어진다. 그 옅어짐이 불편하게 느껴질 수 있다. 그러나 그 불편함이야말로, 도구의 지문과 소비자의 진심을 구분하기 시작했다는 신호다.

Every instrument leaves its own fingerprint on the answer. Read the fingerprint before you read the answer.