리텐션 80%를 만든 A/B 테스트 팁
리텐션 80%를 만든 A/B 테스트 팁
초기 팀은 많은 포지션보다, 많은 실행횟수가 더 중요합니다. 때문에 직군을 나눠 일하는 것보다 모두가 각자의 장점을 살려 효율적으로 가설검증을 빠르게 하는 것이 중요해요. 하지만 모든 구성원이 목표 중심적으로 일하는 문화를 만드는 일이 너무 어렵습니다.
그래서 오늘은 매달 20개의 가설을 검증하는 무니스를 만나 가설검증 에피소드와 팀 문화를 만들어가는 방법에 대해 물어봤습니다. 많은 사람들이 더 잘 잤으면 하는 마음에 마루에 남아 본인들의 잠을 줄이는 무니스 팀의 이야기를 들려드릴게요.
무니스의 인사이트 요약
- 시간이나 비용을 줄이는 것만이 최적화가 아닐 수 있습니다. 유저의 몰입에 초점을 맞추고 몰입을 방해하는 경험을 제거해나가보세요. 무니스는 이 사고를 한 뒤로 전환율이 10% 이상 올랐습니다.
- A/B 테스트를 한다면, 실험군에게는 업데이트 소식을 적극적으로 전달하세요. 무니스의 경우 업데이트 홍보를 하지 않으면 실험군의 30% 만이 업데이트된 기능을 사용했다고 합니다.
- 가설과 직관이 충돌한다면 무조건 실험을 통해 결과를 확인하세요. 의외로 실험군과 대조군 모두 큰 변화가 없을 수도 있어요. 그럼 중요하지 않은 곳에 쓸 시간을 아낄 수 있게 되는거죠.
- 빠르게 실험을 돌리고 싶다면, 팀을 분리하지 말고 함께 스프린트할 수 있는 환경을 만들어보세요. 매주 실험에 대한 이야기로 소통하다보면 목표에 대한 얼라인과 빠르게 실행하는 팀을 동시에 만들어낼 수 있습니다.
마루 입주사들과 교류하면서 빠르게 제품개발하고 싶다면?
// 위와 같이 UX를 변경한 후 리텐션과 결제율이 떨어졌다. 이후 롤백을 진행했고, 다시 지표가 회복됐다.
이게 계기가 있었어요. 미라클나잇은 기본적으로 질 좋은 수면을 위해 유저에게 적합한 모노럴비트를 생성해서 들려주는데요, 모노럴비트 외에도 명상과 ASMR을 들을 수 있어요.이 중에서 명상과 ASMR을 유저 저니의 유저 경험의 맨 앞단으로 뺐던 적이 있습니다. 저희는 나름대로 편의를 위해 순서를 바꾼 것뿐인데 리텐션과 결제율이 뚝뚝 떨어지는 거예요.
그래서 원인을 찾다 결국 롤백을 했는데 다시 회복이 되더라고요. 알고보니 명상과 ASMR을 맨 앞에 배치했더니 유저들이 홈 화면을 보고서 우리 앱을 명상앱으로 인지한 것이 문제였어요.
그때부터 A/B 테스트를 도입하기 시작했어요.
좋은 레슨런이네요. 기억에 남는 테스트가 있나요?
한 번은 ‘온보딩 과정이 길수록 피로감을 느껴 이탈할 것이다’라는 가설을 세웠어요. 어떻게 보면 직관인거죠. 그래서 온보딩 과정을 더 길게 만들어봤습니다. 애니메이션과 질문을 더 추가해서 온보딩 프로세스를 1분 30초 이상 늘렸어요.
그랬더니 결과적으로 지표가 10% 가량 상승했습니다.
그래서 이걸 마켓핏 랩 정성영 대표님께 말씀드렸더니, **‘작은 yes를 받아냄으로써 큰 yes를 받아내는게 쉬워진다’**라는 말씀을 해주시더라고요. 저희의 온보딩을 경험하면서 저희가 던졌던 작은 질문들과 사람들의 답변이 결국 전환율에 유의미한 영향을 준 것이죠.
가설과 직관이 충돌할 때 고객의 니즈는 실험만이 알려줄 수 있다는 말씀이시네요.
맞아요. 우리가 모든 것을 예상할 수는 없으니까요. 그리고 이 실험이 가장 먼저 생각난 이유는 저희의 사고를 바꿔주었기 때문인데요, ‘어떻게 하면 더 편리하고 빠르게 유저경험을 설계할까?’가 아니라 ‘어떻게 하면 유저가 더 몰입할 수 있을까?’에 더 많은 고민을 하게 되었습니다.
이렇게 생각이 잡히고 나서 다시 퍼널을 보니 유저의 몰입을 방해하는 요소들이 보였고요. 하나씩 최적화시켜나갔고, 현재는 2분이 넘는 온보딩을 가지고 있지만 전보다 높은 전환율을 기록하고 있습니다.
유저의 편의성보다 유저의 몰입에 집중하는 것도 좋은 인사이트네요.
창업가들이 A/B 테스트를 하면서 쉽게 놓칠 수 있는 부분에는 어떤 것이있을까요?
한 번은 커뮤니티 탭에 투표기능을 추가해서 A/B 테스트를 한 적이 있어요. 예를 들면 ‘평소에 자는 자세는?’이라는 질문에 왼쪽, 오른쪽 이렇게 답하는거죠. 아무래도 A/B 테스트라는게 새로운 기능에 대해 홍보하는게 어렵잖아요. 그래서 이번에도 홍보 없이 사람들이 투표 기능 자체에 가치를 느끼는지 확인하고 싶었어요.
결론부터 말하면 실패한 실험이었습니다. 커뮤니티 탭에 한 번이라도 들어온 사람들은 결제율과 리텐션이 모두 높았어요. 문제는 지표가 높은 이유가 투표 기능 때문인지 아닌지 알 수 없다는 것이죠. 왜냐하면 A/B로 비교하니까 지표에 차이가 없었거든요. 이외에도 굉장히 많은 실험을 했는데 비슷한 이유로 실패했어요.
그래서 저희가 얻었던 가장 큰 교훈은 실험군에 속한 사람들에게는 새로운 업데이트에 소식을 진짜 열심히 알려야한다는 것이에요.
수치 상으로도 실험군의 26%만이 새로운 기능을 사용하거든요. 실험군이 100명이 있으면 나머지 74명은 이런 업데이트가 있었는지 조차 몰라요.
물론 B2C 특성상 주변사람들 때문에 알 수도 있겠죠. 그래도 일단 실험군한테는 새로운 업데이트가 있다는 사실을 우리가 무조건 알려보자는 생각으로 실험을 진행하고 있어요.
팀 문화에 대해서도 궁금해요.
사실 지난 번에 디스콰이엇 팀과 식사할 때도 느꼈지만,
무니스 팀의 에너지 레벨이 상당한 것 같아요.
// 무니스 팀
HR 컨설턴트 분이 저희 회의를 보시고 ‘삼성에서는 3개월 동안 할 의사결정들이 여기서는 2시간 안에 일어나는게 대단하네요’라는 피드백을 주셨어요. 저희가 대화의 밀도도 높고, 소통도 많이 하고, 화제 전환도 빠르게 되는 편인 것 같아요.
그리고 이런 팀을 만들 수 있었던 것은 아무래도 채용의 영향이 크죠. 도언님한테도 조언을 많이 받았지만, 내부적으로 견고하니까 새로운 팀원이 들어와도 길을 잃지 않고 문화에 잘 스며드는 것 같아요. 어제 새로 오신 분들은 새벽 5시까지 일하다 가시더라고요.
조직적으로도 변화가 있었는데요, 예전에는 프로덕트 팀과 오퍼레이션 팀을 따로 운영했었습니다. 그렇다보니 사일로 현상이 생기더라고요. 서로 무슨 일을 하는지 잘 모르는거죠.
그래서 지금은 1인 1PM 체제로 바꿨습니다.
매주 각자 진행할 실험과 진행한 실험에 대해 공유하고 소통하는 시간을 가지면서 개발자의 도움이 필요하면 요청하기도 하고, 실험에 대한 피드백도 주는 것이죠.
저는 이 시간이 너무 좋은 것 같아요. ‘이번 주에는 어떤 KPI를 높이기 위해 무슨 액션을 하지?’를 매주 상상하다 보니 빠른 액션을 위한 트리거가 되어주는 느낌입니다.
일하다가도 둘이서 하나의 안건에 대해 이야기하고 있다가도 팀원들이 오가면서 그 대화에 한 명씩 끼기 시작해요. 물 마시러 가다가 합류하거나 화장실을 가다 합류하는거죠. 이어폰을 끼고 있어도 밖에서 말하는 소리는 들리는거 어떤 건지 아시죠? 그렇게 결국 다 같이 이야기하면서 새로운 아이디어를 만들어내고, 또 그걸 빨리 실행하게 돼요.
팀원 분들과의 라포형성이 엄청 잘 되어있지 않으면 힘든 문화 같아요.
굉장히 좋은 문화를 만들고 계시네요.
// 동네 골목 친구같은 무니스 팀 ㅎㅎ
주변에 회사 이야기를 하면 응답하라 1988의 동네골목 같다는 이야기를 들어요. 되게 정이 많고 사람 한 명 한 명의 캐릭터가 명확해서 재미있는거죠. 드라마 속으로 들어온 느낌이랄까. 그래서 이 조직 안에 있는게 너무 재미있어요. 당연히 예기치 않게 힘든 일도 많기는 하지만 하나씩 풀어가면서 진짜 가족 같은 팀이 되어가고 있어요.
그리고 여기서 그치지 않고, 저희는 목표 KPI를 달성했을 때 재화 보상을 줘요. 월 보너스죠. 두터운 유대감과 적절한 인센티브가 무니스만의 팀 문화를 더 강화시키는 것 같아요.
그리고 아쉬운게, 이제 곧 마루를 나가시잖아요.
지금까지의 마루민 경험에 대해 들려주세요.
// 무니스 X 디스콰이엇
아 이거는 정말 말하고 싶은게 채용에 도움이 돼요. 면접자분들이 마루로 인터뷰 오기 전에 자연스럽게 디스콰이엇에 적힌 무니스의 글을 읽어보고 오세요. 그러면 인터뷰를 끝내고 ‘혹시 디스콰이엇 아세요?’ 물어보고, 안다고 하시면 디스콰이엇 사무실로 데려가는거죠. 사실 어디가서 아는 스타트업 만나는게 쉽지 않잖아요. 이게 정말 복지에요. 그 순간 신뢰도가 확 올라가고 이 공간에 대한 동경이 생기는 것 같아요.
뿐만 아니라 여러 스타트업들이 모인 오피스에 처음 온 사람들은 이 커뮤니티에 대해 가치를 크게 느끼시는 것 같아요. 사실 마루가 다른 팀과 협업하기에도 좋은 곳이잖아요.
(디스콰이엇은 내년 3월까지 마루에 있습니다! 빨리 들어오시면 이 채용전략을 써먹으실 수 있어요 ㅎㅎ)
마지막으로, 마루 지원서에 어떻게 Pay it forward할지 물어보는 문항이 있어요.
많은 분들이 어려워하시더라고요. 어떻게 적으셨나요?
아무래도 저희는 웰니스 쪽이다 보니 창업가 분들의 웰니스를 위해 기여할 수 있는 부분을 적었어요. 다들 아시다시피, 창업가분들이 우울증에 많이 걸리잖아요. 강도 높은 일을 계속 하고 있기 때문에 멘탈리티가 좋지 않고. 그래서 이런 쪽으로 지원해야겠다 싶었고, 실제로 마루 타운홀 미팅을 할 때 무료 이용권을 창업가 분들에게 공유드리기도 했어요.
이외에도 제가 대단한 창업가는 아니지만 공유할 수 있는 인사이트가 있다면 언제든지 공유하면서 도움을 드리기도 했었고요.
좋은 공유 오피스는 많지만,
좋은 사람을 만나는게 참 어려운 것 같습니다. 저희는 내년 3월까지 있습니다.
마루에 입주하시고 함께 야근도 하고 식사도 할 동료 팀이 될 분들을 기다리고 있을게요.
외롭지 않은 창업을 위해 마루에 지원해보세요 :)
(업데이트) 마루에서 2024 하반기 입주사를 찾고 있습니다!
링크 : https://asan-nanum.org/notice/2024-2nd-maru-startup-apply/