가치 테스트
제품은 고객이 진정으로 가치를 인식할 때 비로소 선택받을 수 있다. 누군가 우리 제품을 '사용할 수 있다'는 것이 그들이 우리 제품을 선택할 것이라는 의미는 아니다. 특히나 이미 다른 제품이나 서비스를 사용하고 있는 고객이나 사용자를 자사 제품으로 전환하고자 하는 경우는 더욱 그렇다.
전환이 되려면, 고객이 당신의 제품을 월등히 나은 것으로 인식해야만 한다. 그리고 기존 솔루션에서 느끼고 있던 불편함과 장애 요소를 처리해 주어야 한다.
가치가 있는 제품이라면 나머지 문제는 모두 해결하면 된다. 하지만 가치가 없다면 사용성, 신뢰성, 성능이 아무리 좋아도 소용이 없다.
1) 수요 테스트
가장 크게 시간과 노력이 낭비되는 경우이자 수없이 많은 스타트업의 실패 원인은 팀이 제품을 디자인하고 구현해서 마침내 출시했을 때 사람들이 그것을 사지 않는다는 것을 깨닫는 것이다. 더 심각한 것은 그들이 시험 버전에서 상당한 사람들이 사용했고 어떠한 이유로 실제 구매는 하지 않은 문제가 아니라는 것이다. 그런 경우라면 보통은 구매하지 않은 이유에서부터 해결해 나가면 된다. 현실은 그들이 시험 버전에서조차 사용을 원하지 않았다는 것이다.
가격, 포지셔닝, 마케팅 등에 대해 실험을 하겠지만, 결국 이런 것들은 진짜 문제가 아닌 것으로 결론을 내게 된다. 그리고 더 최악인 부분은 이 문제를 쉽게 피할 수 있었다는 사실이다. 이런 문제는 완전히 새로운 제품을 만들 때와 같이 제품 레벨에서 발생할 수도 있고, 기능 레벨에서 발생할 수도 있다. 기능 레벨의 사례는 아주 맥이 빠질 정도로 흔히 발생한다. 이는 아주 간단한 아래 두 가지 방법으로 방지할 수 있다.
가짜 문 수요 (fake door demand)
버튼이나 메뉴를 사용자 경험상 있어야 할 것으로 판단되는 정확한 위치에 넣어보는 것이다. 하지만 사용자가 그 버튼을 클릭하면 새로운 기능이 실제로 작동하는 것이 아니다. 대신 사용자를 특별한 페이지로 보내고, 새 기능을 추가하는 것의 가능성을 연구하고 있다고 설명하면서 이것에 대한 고객의 의견을 기대한다. 그 페이지는 또한 사용자가 자진 참여할 방법을 안내한다.
사용자들은 버튼을 클릭할 때까지 테스트 상황임을 알 수 있는 어떠한 시각적인 표시가 없고, 버튼에 대한 클릭률(CTR)을 기대 수준 혹은 다른 기능들과 비교해줄 수 있게 해주는 아주 유용한 데이터를 빠르게 수집할 수 있다는 장점이 있다. 그리고 그들이 무엇을 기대했는지에 대해 더 많이 이해할 수 있도록 추가적인 커뮤니케이션을 할 수도 있다.
이 방법을 통해 우리는 다음 두 가지를 빠르게 수집할 수 있기를 희망한다.
수요에 대한 훌륭한 근거
새로운 기능에 대해 당신과 이야기할 준비가 되어 있고, 의지가 있는 사용자들의 목록
실제로는 수요가 문제가 되는 경우는 많지 않다. 사람들은 분명히 시험 버전에 등록할 것이다. 문제는 사람들이 우리 제품을 써 보고서 관심을 보이지 않는 것이다. 최소한 그들이 현재 사용하는 제품에서 전환을 만들어 내기에 충분한 관심이 없는 것이다. 그래서 이를 해결하기 위한 목적으로 이어지는 장들에서 정성적인 / 정량적인 기법을 소개할 것이다.
2) 정성적인 가치 테스트
정량적인 테스트는 무슨 일이 일어나고 있는지는 말해주지만, 왜 그런 일이 생기는지를 설명해주지는 않는다. 그리고 그 상황을 바로잡기 위해 무엇을 해야 하는지도 알 수 없다. 그래서 우리는 정성적인 테스트가 필요하다. 사용자와 고객이 우리가 희망하는 방향으로 반응하지 않는다면 왜 그런 경우가 발생하는지 알아내야 한다.
정성적인 테스트는 무언가를 증명하는 것이 아니다. 정성적인 테스트는 빠른 학습과 통찰에 관한 것이다. 정성적인 사용자 테스트를 수행할 때 어느 한 사용자로부터만 답을 찾으려 하면 안된다. 각 사용자와의 테스트가 마치 퍼즐의 조각들이라고 보면 된다.
실제 사용자 및 고객과 제품 아이디어에 대한 정성적인 테스트를 하는 것은 제품팀 모두에게 가장 중요한 단 하나의 제품 발견 활동이다. 제품팀이 매주 최소 두 번 내지 세 번의 정성적인 가치 테스트를 진행하는 것이 매우 중요하고 큰 도움이 된다고 생각한다.
가치 테스트
사용자와 마주 앉아서 가치 테스트를 할 때 문제는 그들이 일반적으로 친절하다는 것이다. 그래서 이때는 모든 상황에서 그 사람이 당신에게 친절하지 않도록 설계해야 한다.
1) 가치 입증을 위해 돈을 사용하기
사용자가 그 솔루션에 돈을 낼 의사가 있는지를 확인한다. 우리는 그 자리에서 신용 카드를 꺼내고 그 제품을 사고 싶다고 말하는 사용자를 찾고 있다. 만일 값비싼 기업용 제품이라면 사람들에게 '강제력이 없는 구매 의향서'에 서명해 달라고 요청할 수 있다.
2) 가치 입증을 위해 평판을 이용하기
그들의 친구나 동료나 상사에게 그 제품을 추천할 의향이 얼마나 있는지 물어보는 것이다. 소셜 미디어에 공유해달라고 요청할 수도 있다. 추천을 위해 상사나 친구 이메일을 입력해 달라고 요청할 수도 있다.
3) 가치 입증을 위해 시간 이용하기
특히 기업용 제품에 대해서는 이 일과 관련하여 상당 시간을 할애해 줄 수 있는지 물어볼 수 있다.
4) 가치 입증을 위해 접근성 이용하기
사람들에게 전환하고자 하는 기존 제품의 로그인 정보를 요청해 볼 수도 있다. 단지 그들이 기존 제품에서 즉시 전환할 만큼 충분한 가치를 느끼고 있는지 알고자 함이다.
프로토타입 반복하기
가치 테스트는 무언가를 증명하고자 하는 것이 아님을 기억하라. 빠른 학습을 위한 것이다. 해결할 어떠한 문제를 가지고 있다고 생각하는 순간이나 뭔가 다른 접근 방법을 시도하고 싶을 때 하는 것이다.
예를 들어, 프로토타입을 서로 다른 두 명에게 보여 주었는데 각각의 반응이 확연하게 차이가 있다고 해 보자. 그러면 왜 그런지를 밝히는 것이 당신의 일이다. 아마 다른 문제를 가진, 다른 분류의 고객일 것이다. 개인의 능력이나 분야에 대한 지식에 차이가 있을 수 있다. 한 명은 현재 솔루션에 만족하고 있고 다른 한 명은 그렇지 않은 경우이다.
다루고 있는 문제에 관심 있는 사람을 모집할 수 없다고 판단할지도 모르겠다. 혹은 당신의 목표 사용자가 이것의 가치를 느낄 수 있을 정도의 충분한 사용성이 있게 하는 방법을 알아내지 못한다고 생각할 수도 있다. 그런 경우라면 거기서 멈추고 그 아이디어를 잠시 넣어 두는 것도 가능하다.
3) 정량적인 가치 테스트
정성적인 테스트가 빠르게 학습하고 커다란 통찰을 얻는 것에 관한 것이라면, 정량적인 기법은 근거를 수집하는 것이다. 때로 통계적으로 유의미한 결과를 도출할 수 있을 정도로 충분한 양의 데이터를 수집하고, 때로는 근거로 활용될 수 있을 최소 수준으로 기준을 낮추어서 실제 사용 데이터를 수집한다.
여러 방법 중 사용 가능한 트래픽의 양, 가용한 시간, 위험 감수 수준 등을 기준으로 적합한 기법을 선택한다. 실제 스타트업 환경에서는 충분한 트래픽과 시간이 없으나 위험에 대해서는 감내할 수 있는 반면, 안정된 회사에서는 충분한 트래픽과 시간은 있으나 위험에 대해 부정적인 경향이 있다.
초대 테스트
회사가 위험에 훨씬 더 부정적이거나, 충분한 트래픽이 없거나, 유용한 결과를 가능한 한 빨리 얻고 싶다면 사용할 수 있는 방법이다. 사용자 또는 고객에게 연락해서 새로운 버전을 시도하는 일에 초대하는 것이다. A/B 테스트만큼 예측성이 있진 않으며, 참여자들은 일반적으로 얼리어답터임을 인지해야 한다. 그럼에도 라이브 데이터 프로토타입을 활용하는 실제 고객을 모집하면 흥미로운 데이터를 수집할 수 있다.
사용자들이 좋아할 것으로 예상한 기능을 초대 그룹과 같은 제한된 사람드링 쓸 수 있도록 만들고 나서 그들이 실제 만족을 느끼지 못하는 상황이 많다. 그 이유는 정성적인 테스트를 통해서 알아내야 한다.
분석 정보의 역할
기술 제품의 시장 범위가 확장되고, 데이터 도구가 개선됨에 따라 제품팀이 분석 정보를 활용하는 것이 매우 중요해졌다. 그 용도는 다섯 가지가 있다.
1) 사용자와 고객의 행동 이해
사용자와 고객이 제품을 어떻게 사용하고 있는지 이해하는 것이다. 사용자 정보를 분석함으로써 사용되지 않는 기능을 확인하거나, 우리가 기대한 수준으로 기능이 사용되는지 검증하거나, 단순히 사용자들이 말하는 것과 실제로 하는행동 사이의 차이점에 대해 더욱 잘 이해할 수 있다. 새로운 기능을 추가하고자 한다면 그 기능의 사용에 대한 최소한의 기본적인 분석 정보는 필수적이다.
2) 제품의 진행 상황을 측정
어떤 기능이 효과가 있는지 없는지에 대해 추정하는 것보다는 제품팀에 측정 가능한 사업 목표들을 제시하는 것이 훨씬 효과적이다. 결과물이 아닌 서오가에 집중하는 것은 제품을 만드는 중요한 트렌드 중 하나다.
3) 제품 아이디어가 효과가 있는지 검증
A/B 테스트 실행을 통해 새로운 기능, 새로운 버전의 과업 흐름, 새로운 디자인의 영향을 완전히 독립적으로 적용할 수 있고, 그 결과를 비교할 수 있다.
4) 제품 의사결정에 영향
과거에 제품을 만드는 데 최악의 상황은 사람들의 의견에 의존한다는 점이었다. 요즘은 데이터가 의견을 압도한다는 태도를 기반으로 간단히 테스트를 수행하며 어느 정도의 데이터를 수집하고 나서 그 데이터를 의사결정에 활용한다.
5) 제품 업무에 영감을 불어넣기
데이터가 중요한 질문을 던지는 것으로 귀결되는 경우가 자주 있다. 그리고 데이터를 탐색하는 것을 통해 우리는 매우 강력한 제품 기회들을 찾을 수도 있다. 데이터 자체를 깊이 학습하는 것은 획기적인 제품 아이디어를 이끌어 내는 통찰을 제공해 줄 수 있다. 데이터가 종종 우리의 허를 찌르기 때문이다. 우리는 제품이 어떻게 사용될지에 대한 가설들을 가지고 있다. 그리고 시제 데이터를 확인해 보면 그러한 가정들과 관계없는 결과에 놀라게 된다. 이렇게 놀라는 것들이 진정한 진척을 만들어 내는 것이다.
제품에 중요한 분석 정보의 유형을 폭넓게 이해해야 한다. 핵심적인 분석 정보의 조합은 다음과 같다.
사용자 행동 정보 : 글릭 경로, 참여 행동
비즈니스 정보 : 활성 사용자, 전환율, 생애 가치, 잔존율
재무 정보 : 평균 판매 가격, 결제 정보, 주문 완료 소요 시간
성능 : 로딩 시간, 가동 시간
운영 비용 : 스토리지, 호스팅
시장 진출 비용 : 고객 획득 비용, 영업 비용, 캠페인 비용
감성적인 분석 정보 : 순 추천 고객 지수, 고객 만족도, 설문조사
제품팀은 더 가치 있고 사용성이 우수한 제품을 만들기 위해 데이터를 활용한다. 분석에 대한 전반적인 업무의 진행 방식은 먼저 제품이 어떻게 사용되는지에 대해 무엇을 알고 싶은지 스스로 물어본 다음에 제품 정보를 수집하기 위한 조치를 취한다. 그리고 최종적으로 다양한 형태의 온라인 리포트를 만들어 내고 이러한 데이터를 해석한다.
새로 추가한 모든 기능에 대해 우리가 기대한 대로 그것이 작동하는지 의도하지 않은 유의미한 결과가 있는지를 즉시 알 수 있도록 하는 데 필요한 측정 장치가 준비되어 있는지 반드시 확인해야 한다. 그러한 측정 도구 없이는 나는 해당 기능을 출시하지 않을 것이다.
고객에게 영향이 없는 기능들을 제거함으로써 제품을 철저히 단순하게 만드는 것을 추구한다. 하지만 무엇이 사용되고 있고 어떻게 사용되고 있는지 알지 못하는, 실제 무슨 일이 일어나고 있는지 모르는 상태에서, 이러한 제거 작업을 하는 것은 매우 고통스럽다. 우리가 제안한 이론이나 결론을 뒷받침하는 데이터가 없다면 경영진은 (정당하게) 결정을 망설이게 된다. 먼저 이러한 분석 데이터를 확보하는 것이 시작점이라고 생각한다. 그러고 난 후 그 데이터를 얻을 수 있는 최선의 방식을 역으로 찾는 방안을 마련하라.
Last updated