데이터 기반 의사결정, 실패하지 않는 프로덕트 비밀
데이터 기반 의사결정, 실패하지 않는 프로덕트 비밀
일자
상시
유형
아티클태그
이 아티클은 <성장 엑셀러레이터 B2B 기업> 시리즈의 1화입니다.
신규 기능, 진짜 매출 상승의 이유일까요?
아직도 많은 조직이 ‘감에 의한’ 의사결정을 통해 프로덕트를 개발합니다. 물론 감이 뛰어난 기획자의 남다른 통찰에 기반해 만든 프로덕트가 성공하는 경우도 있지만, 스타 기획자가 없는 조직에서도 데이터에 기반한 의사결정으로 시행착오를 줄이며 빠르게 성공적인 프로덕트를 만들어 낼 수 있습니다. 어디서, 어떻게 시작할 수 있을까요?
HIPPO 중심의 의사결정, 무엇이 문제인가
HIPPO라는 용어를 들어보신 적 있나요? Highest Paid Person’s Opinion의 약자로, ‘월급이 가장 많은 사람의 의견’이라는 의미입니다. 제품을 개발하는 많은 조직에서 아직 HIPPO에 따라 Top-down 방식으로 의사결정을 내리고 있습니다. 그렇게 출시한 프로덕트가 성공하는 경우도 있지만, 고객의 목소리와 수많은 데이터가 가리키는 방향을 고려하지 않은 HIPPO의 독단적인 결정이 늘 성공으로 이어질 것이라 장담할 수 있을까요?
거의 모든 산업에서 기업은 웹, 앱 서비스를 통해 제품을 알리고, 판매하고, 고객과 소통하고 있습니다. 그 과정에서 점점 더 많은 데이터가 쌓이게 되는데, 이렇게 쌓인 데이터를 어떻게 활용해야 할지 몰라 방황하고 있는 기업들이 많습니다. 데이터를 단순한 숫자로만 보지 않고 다양한 각도에서 분석하고 활용했을 때 기업은 고객의 선호를 반영한 프로덕트를 더 빠르고 정확하게 만들 수 있게 됩니다.
커머스 서비스를 예로 들어 보겠습니다. 확인하는 지표들은 일별 매출액, 홈페이지 진입 경로, 멤버십 별 장바구니 담기 수, 구매완료 수 등이 있겠죠. 얼핏 단순한 숫자로 보이는 이 지표들에서 어떻게 프로덕트 개선을 통한 아이디어를 얻을 수 있을까요?
신규 기능, 진짜 매출 상승의 이유일까요?
아직도 많은 조직이 ‘감에 의한’ 의사결정을 통해 프로덕트를 개발합니다. 물론 감이 뛰어난 기획자의 남다른 통찰에 기반해 만든 프로덕트가 성공하는 경우도 있지만, 스타 기획자가 없는 조직에서도 데이터에 기반한 의사결정으로 시행착오를 줄이며 빠르게 성공적인 프로덕트를 만들어 낼 수 있습니다. 어디서, 어떻게 시작할 수 있을까요?
HIPPO 중심의 의사결정, 무엇이 문제인가
HIPPO라는 용어를 들어보신 적 있나요? Highest Paid Person’s Opinion의 약자로, ‘월급이 가장 많은 사람의 의견’이라는 의미입니다. 제품을 개발하는 많은 조직에서 아직 HIPPO에 따라 Top-down 방식으로 의사결정을 내리고 있습니다. 그렇게 출시한 프로덕트가 성공하는 경우도 있지만, 고객의 목소리와 수많은 데이터가 가리키는 방향을 고려하지 않은 HIPPO의 독단적인 결정이 늘 성공으로 이어질 것이라 장담할 수 있을까요?
거의 모든 산업에서 기업은 웹, 앱 서비스를 통해 제품을 알리고, 판매하고, 고객과 소통하고 있습니다. 그 과정에서 점점 더 많은 데이터가 쌓이게 되는데, 이렇게 쌓인 데이터를 어떻게 활용해야 할지 몰라 방황하고 있는 기업들이 많습니다. 데이터를 단순한 숫자로만 보지 않고 다양한 각도에서 분석하고 활용했을 때 기업은 고객의 선호를 반영한 프로덕트를 더 빠르고 정확하게 만들 수 있게 됩니다.
커머스 서비스를 예로 들어 보겠습니다. 확인하는 지표들은 일별 매출액, 홈페이지 진입 경로, 멤버십 별 장바구니 담기 수, 구매완료 수 등이 있겠죠. 얼핏 단순한 숫자로 보이는 이 지표들에서 어떻게 프로덕트 개선을 통한 아이디어를 얻을 수 있을까요?
그림 1 ⓒ 핵클
일자 별 지표를 모니터링 하다 보면 매출액이 상승하는 날도, 하락하는 날도 있습니다. 그동안 신규 기능이 출시된 날에는 어김없이 매출이 상승했는데, 이는 해당 기능을 구상했던(마침 HIPPO를 내는 사람이기도 한) 기획자의 자신감을 상승시켰고, 조직에는 데이터보다는 감에 의해 프로덕트를 기획하고 출시하는 문화가 자리잡게 되었습니다. 그러나 과연 그 모든 매출액 상승이 ‘신규 기능’으로 인한 것이었다고 확신할 수 있을까요?
일자 별 지표를 모니터링 하다 보면 매출액이 상승하는 날도, 하락하는 날도 있습니다. 그동안 신규 기능이 출시된 날에는 어김없이 매출이 상승했는데, 이는 해당 기능을 구상했던(마침 HIPPO를 내는 사람이기도 한) 기획자의 자신감을 상승시켰고, 조직에는 데이터보다는 감에 의해 프로덕트를 기획하고 출시하는 문화가 자리잡게 되었습니다. 그러나 과연 그 모든 매출액 상승이 ‘신규 기능’으로 인한 것이었다고 확신할 수 있을까요?
그림 2 ⓒ 핵클
위 이미지의 예시처럼 신규 기능을 출시했을 때 매출이 23% 증가한 경우를 생각해 봅시다. 해당 기간에 있었던 가장 큰 변화는 기능 출시였기에, 이로 인해 매출액이 상승한 것처럼 보일 수 있습니다.
그러나 데이터를 자세히 분석하는 과정에서 전혀 다른 정보들을 발견하게 됩니다. 매출 증가는 사실 기능 변화로 인한 것이 아닌, 코로나 상황과 마케팅 행사 등의 외부 요인으로 인한 것이었던 것입니다. 신규 기능은 오히려 서비스의 사용성을 떨어뜨려 7%의 매출 감소를 야기했는데, 전체적으로 증가한 매출로 인해 이 영향을 정확하게 볼 수 없었던 것입니다. 즉, 매출액은 23%가 아닌 30%까지도 증가할 수 있었던 것입니다.
그렇다면 이와 같은 상황이 일어나는 것을 방지하고 조직에서 관리하는 핵심 지표들을 빠르게 개선해 나가기 위해서는 무엇을 해야 할까요? 신규 기능 출시로 인한 영향을 어떻게 정확하게 측정할 수 있을까요?
데이터 기반의 의사결정, A/B 테스트
이 경우, 동일 기간 동안 실제 사용자를 대상으로 기존 vs 신규안을 적용해 변경사항으로 발생한 영향을 정확하게 측정할 수 있는 방법인 A/B 테스트를 적용해 볼 수 있습니다. 기존 기능(A)과 신규 출시하려는 기능(B)을 랜덤하게 분배된 두 사용자 그룹에 동시 노출한다면 코로나, 마케팅 행사 등 외부 요인으로 인한 영향 또한 두 그룹에 동일하게 적용되기 때문에 해당 기능으로 인한 매출액 변화를 정확하게 구분해 볼 수 있게 됩니다.
실제로 구글, 아마존, 쿠팡과 같은 글로벌 테크 기업에서는 매 해 수 천, 수 만 건의 A/B 테스트를 진행하고 있다고 합니다. 주요 기능들은 거의 매번 영향도를 측정한 후 출시한다는 뜻인데, 단 1%의 지표 변화도 수천만 달러의 매출액 증감으로 이어질 수 있기에 이와 같은 검증 과정을 거치는 것은 매우 중요합니다.
위 이미지의 예시처럼 신규 기능을 출시했을 때 매출이 23% 증가한 경우를 생각해 봅시다. 해당 기간에 있었던 가장 큰 변화는 기능 출시였기에, 이로 인해 매출액이 상승한 것처럼 보일 수 있습니다.
그러나 데이터를 자세히 분석하는 과정에서 전혀 다른 정보들을 발견하게 됩니다. 매출 증가는 사실 기능 변화로 인한 것이 아닌, 코로나 상황과 마케팅 행사 등의 외부 요인으로 인한 것이었던 것입니다. 신규 기능은 오히려 서비스의 사용성을 떨어뜨려 7%의 매출 감소를 야기했는데, 전체적으로 증가한 매출로 인해 이 영향을 정확하게 볼 수 없었던 것입니다. 즉, 매출액은 23%가 아닌 30%까지도 증가할 수 있었던 것입니다.
그렇다면 이와 같은 상황이 일어나는 것을 방지하고 조직에서 관리하는 핵심 지표들을 빠르게 개선해 나가기 위해서는 무엇을 해야 할까요? 신규 기능 출시로 인한 영향을 어떻게 정확하게 측정할 수 있을까요?
데이터 기반의 의사결정, A/B 테스트
이 경우, 동일 기간 동안 실제 사용자를 대상으로 기존 vs 신규안을 적용해 변경사항으로 발생한 영향을 정확하게 측정할 수 있는 방법인 A/B 테스트를 적용해 볼 수 있습니다. 기존 기능(A)과 신규 출시하려는 기능(B)을 랜덤하게 분배된 두 사용자 그룹에 동시 노출한다면 코로나, 마케팅 행사 등 외부 요인으로 인한 영향 또한 두 그룹에 동일하게 적용되기 때문에 해당 기능으로 인한 매출액 변화를 정확하게 구분해 볼 수 있게 됩니다.
실제로 구글, 아마존, 쿠팡과 같은 글로벌 테크 기업에서는 매 해 수 천, 수 만 건의 A/B 테스트를 진행하고 있다고 합니다. 주요 기능들은 거의 매번 영향도를 측정한 후 출시한다는 뜻인데, 단 1%의 지표 변화도 수천만 달러의 매출액 증감으로 이어질 수 있기에 이와 같은 검증 과정을 거치는 것은 매우 중요합니다.
그림 3 ⓒ 핵클
구글의 링크색 변경 테스트는 가장 대표적인 사례로 언급되는 A/B 테스트입니다. 무려 41개의 색으로 진행했다는 이 테스트는(구글의 디자이너들을 고통스럽게 했지만) 사용자의 클릭을 가장 많이 유도하는 링크색을 찾아 결과적으로 2억 달러의 연 매출이 증가하는 성과를 냈다고 합니다. A/B 테스트라는 동시 실험 기법이 아니었다면 클릭율의 변화가 링크색으로 인한 것인지, 다른 요인들로 인한 것인지 확인할 방법이 없었을 것입니다.
넷플릭스 또한 A/B 테스트를 활발히 진행하기로 유명한 기업으로, 동일 작품이라도 계정마다 다른 포스터가 노출된다는 사실은 이미 많은 분이 알고 계실 것입니다. 이처럼 넷플릭스는 어떤 포스터를 노출하는지에 따라 클릭율이 달라질 것이라는 가설에서 시작해 다양한 삽화를 노출하는 테스트를 진행하고 있는데, 최근 인기가 많았던 <지금 우리 학교는>의 경우, 포스터만 무려 30종에 달했다고 합니다. 포스터에 대한 개별 사용자 취향 또한 다를 수 있으므로 각 사용자 그룹의 특성을 반영할 수 있는 A/B 테스트를 설계하는 과정에서 그처럼 많은 포스터 안을 제작했을 것으로 보입니다.
문제 정의와 목표 설정
A/B 테스트는 구글, 넷플릭스와 같이 테크 리소스가 풍부한 기업에서만 진행할 수 있는 것은 아닙니다. 시중에 존재하는 여러 툴을 이용해 초기 스타트업에서도 A/B 테스트를 진행하고, 사용자 선호도를 파악하며 빠르게 MVP를 개발할 수 있는데요, 여기서 중요한 것은 어떤 툴을 사용하는지가 아니라 실험을 통해 해결하고자 하는 문제를 발견하고 목표를 정의하는 과정입니다.
현재 서비스에 존재하는 문제는 고객 인터뷰, VOC 분석, 사용성 테스트 등 여러 경로를 통해 발견할 수 있겠지만, 각 서비스 특징에 맞는 주요 지표들을 퍼널로 구성해 확인하는 것이 서비스의 어떤 지점을 개선해야 할지 구체적으로 파악하는데 도움이 됩니다.
구글의 링크색 변경 테스트는 가장 대표적인 사례로 언급되는 A/B 테스트입니다. 무려 41개의 색으로 진행했다는 이 테스트는(구글의 디자이너들을 고통스럽게 했지만) 사용자의 클릭을 가장 많이 유도하는 링크색을 찾아 결과적으로 2억 달러의 연 매출이 증가하는 성과를 냈다고 합니다. A/B 테스트라는 동시 실험 기법이 아니었다면 클릭율의 변화가 링크색으로 인한 것인지, 다른 요인들로 인한 것인지 확인할 방법이 없었을 것입니다.
넷플릭스 또한 A/B 테스트를 활발히 진행하기로 유명한 기업으로, 동일 작품이라도 계정마다 다른 포스터가 노출된다는 사실은 이미 많은 분이 알고 계실 것입니다. 이처럼 넷플릭스는 어떤 포스터를 노출하는지에 따라 클릭율이 달라질 것이라는 가설에서 시작해 다양한 삽화를 노출하는 테스트를 진행하고 있는데, 최근 인기가 많았던 <지금 우리 학교는>의 경우, 포스터만 무려 30종에 달했다고 합니다. 포스터에 대한 개별 사용자 취향 또한 다를 수 있으므로 각 사용자 그룹의 특성을 반영할 수 있는 A/B 테스트를 설계하는 과정에서 그처럼 많은 포스터 안을 제작했을 것으로 보입니다.
문제 정의와 목표 설정
A/B 테스트는 구글, 넷플릭스와 같이 테크 리소스가 풍부한 기업에서만 진행할 수 있는 것은 아닙니다. 시중에 존재하는 여러 툴을 이용해 초기 스타트업에서도 A/B 테스트를 진행하고, 사용자 선호도를 파악하며 빠르게 MVP를 개발할 수 있는데요, 여기서 중요한 것은 어떤 툴을 사용하는지가 아니라 실험을 통해 해결하고자 하는 문제를 발견하고 목표를 정의하는 과정입니다.
현재 서비스에 존재하는 문제는 고객 인터뷰, VOC 분석, 사용성 테스트 등 여러 경로를 통해 발견할 수 있겠지만, 각 서비스 특징에 맞는 주요 지표들을 퍼널로 구성해 확인하는 것이 서비스의 어떤 지점을 개선해야 할지 구체적으로 파악하는데 도움이 됩니다.
그림 4 ⓒ 핵클
앞서 예시로 들었던 커머스 서비스의 경우, 사용자가 서비스에 최초로 진입한 시점부터 구매를 완료하기까지의 여정을 퍼널로 구성해 모니터링하면서 전환율이 급격히 감소하는 지점의 기능을 개선해 볼 수 있습니다. 위 이미지에서는 주문서 진입 → 결제 시도로 이어지는 구간에서의 전환율이 급격히 감소했는데, 해당 페이지에서 사용자가 입력해야 하는 정보가 불필요하게 많지는 않았는지, 디자인적으로 사용자에게 혼란을 주는 요소는 없었는지 등을 확인해 보면서 어떤 부분을 개선해야 할지에 대한 아이디어를 얻을 수 있게 됩니다.
진행 과정과 의사결정
A/B 테스트를 진행하는 과정에서 각 직군의 담당자가 오너십을 가지고 단계별로 업무를 추진합니다. 먼저 기획자가 실험에 대한 가설과 개선하고자 하는 목표 지표를 정의하면, 디자이너와 개발자는 이를 신규 안으로 구현합니다. 일정 기간 A/B 각각의 안에 노출된 사용자 그룹의 목표 지표가 어떻게 변화했는지 모니터링한 후, 결과를 바탕으로 신규 안을 출시할지, 기존 안을 유지할지 의사결정을 내리게 됩니다.
이처럼 데이터에 기반해 목표와 해야할 업무들을 정해 나가는 조직에서는 HIPPO가 전과 같은 영향력을 행사하기 어렵습니다. 어떤 기능을 먼저 개선할지부터 어떻게 영향도를 측정하고 반영할지까지 모든 의사결정 과정이 데이터 기반으로 투명하게 진행되므로, 담당자들은 그 필요성과 목적을 명확히 인지할 수 있습니다. 또한 각자가 진행한 일이 어떤 결과로 이어지는지까지 데이터로 확인할 수 있게 되어, 더 많은 동기부여를 받으며 능동적으로 업무에 임할 수 있게 됩니다.
서비스 고속성장을 위한 피할 수 없는 선택지
A/B 테스트를 통해 아마존을 빠르게 성장시켰던 제프 베조스는 “아마존에서의 성공은 우리가 1년, 1달, 1주 그리고 하루에 얼마나 많은 실험을 하는지에 따라 결정됩니다”라는 말을 남겼습니다. 실험을 하지 않고도 성장할 수는 있지만, 실험을 제품 개발 사이클에 정착시킨 기업에는 아마존과 같은 고속성장의 기회가 주어진다는 점을 알 수 있는 부분입니다.
앞서 HIPPO 이야기를 했지만, 사실 조직이 의사결정 과정에서 데이터를 확인하고 개선점을 찾는 것은 선택이 아닌 필수라고 할 수 있습니다. ‘지표를 개선한다’는 측면이 아닌 ‘지표의 악화를 막는다’는 측면에서도 A/B 테스트만큼 정확하게 결과를 확인할 수 있는 수단이 없기 때문입니다.
실제로 A/B 테스트를 통해 신규 기능이 기존안 대비 중요 지표를 크게 악화시킨다는 사실을 알게 되어, 야심차게 준비한 기능을 출시하지 않기로 결정하는 경우들도 많습니다. 이처럼 새롭게 적용하는 변경 사항들이 서비스에 미칠 수 있는 영향을 미리 확인해 위험 요소를 피할 수 있다는 점에서도 A/B 테스트는 큰 역할을 합니다.
점점 더 많은 기업이 서비스를 운영하며 발생하는 데이터를 축적하고 이를 통해 성장할 수 있는 방법을 고민하게 되면서, A/B 테스트는 앞으로 프로덕트 개발의 필수 과정으로 자리잡게 될 것으로 보입니다. 의사결정권자의 독단적인 의견이 업무를 좌지우지 하는 상황에서도, 감이 뛰어난 스타 기획자가 없는 상황에서도 조직이 흔들리지 않고 성공하는 프로덕트를 만들 수 있는 방법, A/B 테스트. 첫 제품을 준비 중인 초기 스타트업부터 수천 만, 수억 건의 사용자 트래픽을 처리하는 대형 플랫폼 기업까지, A/B 테스트를 통한 데이터 기반의 의사결정으로 빠르고 정확하게 고객에게 사랑받는 서비스를 만들어 갈 수 있기를 바라 봅니다.
▶ <성장 엑셀러레이터 B2B 기업> 시리즈 보러 가기
글ㅣ핵클
핵클은 더욱 많은 기업이 데이터를 통해 성장의 단서를 찾고, 가장 빠르고 안전한 방식으로 성장하기를 바라며 쿠팡 출신의 PO와 개발자들이 뜻을 모아 창업한 B2B SaaS 데이터 플랫폼입니다. 현재 A/B 테스트, 기능 플래그, 데이터 분석, 사용자 퍼널분석 등의 기능을 제공하고 있습니다. (핵클 www.hackle.io)
발행일 2022.04.19
앞서 예시로 들었던 커머스 서비스의 경우, 사용자가 서비스에 최초로 진입한 시점부터 구매를 완료하기까지의 여정을 퍼널로 구성해 모니터링하면서 전환율이 급격히 감소하는 지점의 기능을 개선해 볼 수 있습니다. 위 이미지에서는 주문서 진입 → 결제 시도로 이어지는 구간에서의 전환율이 급격히 감소했는데, 해당 페이지에서 사용자가 입력해야 하는 정보가 불필요하게 많지는 않았는지, 디자인적으로 사용자에게 혼란을 주는 요소는 없었는지 등을 확인해 보면서 어떤 부분을 개선해야 할지에 대한 아이디어를 얻을 수 있게 됩니다.
진행 과정과 의사결정
A/B 테스트를 진행하는 과정에서 각 직군의 담당자가 오너십을 가지고 단계별로 업무를 추진합니다. 먼저 기획자가 실험에 대한 가설과 개선하고자 하는 목표 지표를 정의하면, 디자이너와 개발자는 이를 신규 안으로 구현합니다. 일정 기간 A/B 각각의 안에 노출된 사용자 그룹의 목표 지표가 어떻게 변화했는지 모니터링한 후, 결과를 바탕으로 신규 안을 출시할지, 기존 안을 유지할지 의사결정을 내리게 됩니다.
이처럼 데이터에 기반해 목표와 해야할 업무들을 정해 나가는 조직에서는 HIPPO가 전과 같은 영향력을 행사하기 어렵습니다. 어떤 기능을 먼저 개선할지부터 어떻게 영향도를 측정하고 반영할지까지 모든 의사결정 과정이 데이터 기반으로 투명하게 진행되므로, 담당자들은 그 필요성과 목적을 명확히 인지할 수 있습니다. 또한 각자가 진행한 일이 어떤 결과로 이어지는지까지 데이터로 확인할 수 있게 되어, 더 많은 동기부여를 받으며 능동적으로 업무에 임할 수 있게 됩니다.
서비스 고속성장을 위한 피할 수 없는 선택지
A/B 테스트를 통해 아마존을 빠르게 성장시켰던 제프 베조스는 “아마존에서의 성공은 우리가 1년, 1달, 1주 그리고 하루에 얼마나 많은 실험을 하는지에 따라 결정됩니다”라는 말을 남겼습니다. 실험을 하지 않고도 성장할 수는 있지만, 실험을 제품 개발 사이클에 정착시킨 기업에는 아마존과 같은 고속성장의 기회가 주어진다는 점을 알 수 있는 부분입니다.
앞서 HIPPO 이야기를 했지만, 사실 조직이 의사결정 과정에서 데이터를 확인하고 개선점을 찾는 것은 선택이 아닌 필수라고 할 수 있습니다. ‘지표를 개선한다’는 측면이 아닌 ‘지표의 악화를 막는다’는 측면에서도 A/B 테스트만큼 정확하게 결과를 확인할 수 있는 수단이 없기 때문입니다.
실제로 A/B 테스트를 통해 신규 기능이 기존안 대비 중요 지표를 크게 악화시킨다는 사실을 알게 되어, 야심차게 준비한 기능을 출시하지 않기로 결정하는 경우들도 많습니다. 이처럼 새롭게 적용하는 변경 사항들이 서비스에 미칠 수 있는 영향을 미리 확인해 위험 요소를 피할 수 있다는 점에서도 A/B 테스트는 큰 역할을 합니다.
점점 더 많은 기업이 서비스를 운영하며 발생하는 데이터를 축적하고 이를 통해 성장할 수 있는 방법을 고민하게 되면서, A/B 테스트는 앞으로 프로덕트 개발의 필수 과정으로 자리잡게 될 것으로 보입니다. 의사결정권자의 독단적인 의견이 업무를 좌지우지 하는 상황에서도, 감이 뛰어난 스타 기획자가 없는 상황에서도 조직이 흔들리지 않고 성공하는 프로덕트를 만들 수 있는 방법, A/B 테스트. 첫 제품을 준비 중인 초기 스타트업부터 수천 만, 수억 건의 사용자 트래픽을 처리하는 대형 플랫폼 기업까지, A/B 테스트를 통한 데이터 기반의 의사결정으로 빠르고 정확하게 고객에게 사랑받는 서비스를 만들어 갈 수 있기를 바라 봅니다.
▶ <성장 엑셀러레이터 B2B 기업> 시리즈 보러 가기
글ㅣ핵클
핵클은 더욱 많은 기업이 데이터를 통해 성장의 단서를 찾고, 가장 빠르고 안전한 방식으로 성장하기를 바라며 쿠팡 출신의 PO와 개발자들이 뜻을 모아 창업한 B2B SaaS 데이터 플랫폼입니다. 현재 A/B 테스트, 기능 플래그, 데이터 분석, 사용자 퍼널분석 등의 기능을 제공하고 있습니다. (핵클 www.hackle.io)
발행일 2022.04.19