토스뱅크 신입 디자이너의 실험 설계 — 첫 실험은 실패했고, 두 번째에 전환율이 올랐다

토스뱅크 인턴으로 합류해서 받은 첫 과제가 비회원 가입 전환율 높이기였어요. 처음 실험을 설계해야 했는데, 솔직히 세 가지가 가장 막막했거든요. 이탈이 큰 구간이 여러 개인데 어디부터 손대야 할지, 이미 많은 실험이 진행됐는데 내가 뭘 더 할 수 있을지, 그리고 가설을 어떻게 세워야 흔들리지 않을지.

이 세 가지 고민을 풀어간 과정 자체가 신입 디자이너에게 꽤 쓸만한 레퍼런스가 될 것 같아요.

속도와 임팩트를 곱해서 "어디부터"를 결정했다

가장 먼저 비회원 가입 퍼널에서 어디가 이탈이 심한지 데이터를 봤어요. 크게 세 구간이 나왔어요 — 인트로, 동의 화면, 신분증 인증 화면.

비회원 가입 퍼널 이탈 구간

처음엔 어디부터 건드려야 할지 감이 안 잡혀서 주변 디자이너들에게 조언을 구했어요. 동의 화면과 신분증 인증 화면은 공통 모듈 성격이 강하고, 리걸/컴플라이언스 검토가 필요해서 빠르게 실험하고 반복하기 어려운 영역이었거든요. 반면 인트로 화면은 비교적 빠르게 실험할 수 있었고, 첫 유입을 키우는 데 크게 영향을 줄 수 있는 화면이었죠.

속도 x 임팩트. 이 기준으로 인트로부터 개선하기로 했어요.

기존 실험을 먼저 살펴본 것도 중요했어요. 바로 시안을 만들지 않고, 과거 실험부터 정리했거든요. "이미 다 해본 거 아닌가?" 싶었지만, 오히려 그 과정에서 많은 걸 배웠어요. 다른 디자이너들이 어떤 가설을 세우고, 어떤 기준으로 실험했는지를 정리하면서 위닝 패턴과 실패 패턴을 빠르게 흡수한 거죠. 단순히 승패만 본 게 아니에요. 어떤 문제에서 출발했는지, 왜 그런 가설을 세웠는지, 검증을 위해 실험안을 어떻게 설계했는지에 집중했어요.

실험 경험이 적을수록 새 아이디어를 빠르게 내는 것보다 기존 러닝을 구조적으로 읽는 시간이 더 중요하다는 걸 느꼈어요.

첫 실험: 상담원 컨셉 — 클릭률 10% 하락, CVR 3% 하락

첫 실험 variant

첫 번째 실험은 상담원 컨셉이었어요. 상담원이 추천하는 것처럼 구성하고, 선택하기 쉽도록 적은 수의 혜택을 보여주면 전환율이 올라갈 거라고 생각했죠. 결과는 실패. 클릭률 10% 이상 하락, CVR 3% 이상 하락.

실패 원인 분석

돌아보니 가설이 모호했더라고요. "선택지가 적으니까 전환율이 올라갈 거야"라고 했는데, 기존안이 오히려 선택지가 더 적었어요. CTA 버튼이 하나였거든요. 제가 만든 안은 버튼만 두 개가 된 셈이었죠. (읽다가 웃었어요. 진짜로요.)

사용자가 이 화면에 왜 왔는지, 실제로 추천이 필요한 상황인지를 충분히 고려하지 못했어요. 기존 화면과 사용자 맥락을 깊이 보지 않은 채 가설부터 세운 거예요. 시안을 만드는 과정에서 가설이 흔들렸고, 피드백에도 쉽게 휘둘렸죠. 그때부터 원칙을 바꿨어요. 화면을 만들기 전에, 기존 화면의 맥락을 충분히 분석한 뒤 가설을 세우기로.

두 번째 접근: 새로 만들지 말고, 기존안의 문제를 명확히 짚었다

기존 비회원 홈 인트로 화면

완전히 새 시안을 만들기보다 기존안의 문제를 명확히 짚어보기로 했어요. 크게 두 가지 문제가 보였거든요. 문구가 매력적이지 않았어요. 유저가 관심 있어하는 지점이 잘 드러나지 않았죠. 그리고 이미지 로딩 속도가 느렸어요. 저사양 기기에서는 이미지가 뜨는 데 2~3초 정도 걸렸거든요.

개선안

이전 실험 러닝을 참고해서 사용자가 반응하는 가치를 살펴봤어요. 고금리 상품, 매일 이자 받기 같은 키워드가 유효하다는 걸 확인하고 이를 반영했죠. 이미지도 최신 그래픽으로 바꾸고 저용량 확장자를 써서 로딩 속도를 줄였고요.

문구와 이미지만 바꾼 건데 클릭률과 전환율 모두 상승. 처음으로 유의미한 개선을 만들어낸 거예요. 명확한 문제에서 출발한 가설은 실험 방향을 흔들리지 않게 해준다는 걸 체감한 순간이었어요.

세 번째 실험: "하루만 넣어둬도" → "오늘 밤 붙는 이자" — CTR 5% 상승

이전 실험에서 유저가 관심 있어 하는 내용으로 문구를 바꾸면 CTR과 CVR이 개선된다는 걸 확인했어요. 이 러닝을 바탕으로, 유저가 구체적인 상황을 상상할 수 있는 표현을 써보기로 했죠.

문구 개선 실험

'하루만 넣어둬도 이자 받을 수 있어요'처럼 기능을 설명하던 방식에서, 유저가 가장 빠르게 이익을 체감할 수 있는 상황을 먼저 보여주는 방식으로 바꿨어요. 문구 개선만으로 CTR 5% 상승, CVR도 유의미하게 올랐어요. 같은 내용인데 표현 방식에 따라 유저가 받는 첫인상이 이렇게 달라져요.

결국 이 글의 핵심은 이거예요. 실패한 실험이 훨씬 많았어요. 근데 돌이켜보면, 결과보다는 가설을 얼마나 명확하게 세웠는지가 중요했어요. 가설이 뾰족할수록 방향성이 흔들리지 않았고, 실패한 실험도 다음 실험을 설계하는 데 중요한 힌트가 됐거든요.

신입 디자이너를 위한 실험 설계 체크리스트

실험이 처음이라면 이렇게 시작해보세요.

  • 퍼널을 쪼개고 속도 x 임팩트 기준으로 우선순위를 정한다
  • 기존 맥락을 충분히 이해한 뒤, 해결할 핵심 문제를 정의한다
  • 러닝은 수치보다 가설과 문제 정의 중심으로 참고한다
  • 명확한 가설과 성공 지표를 먼저 설정한다
  • 가설이 잘 드러나도록 실험안을 설계한다

    • 실험은 성공 여부를 확인하는 과정이 아니에요. 다음 선택을 더 빠르고 명확하게 만들기 위한 과정이에요. 거창한 해답부터 찾지 않아도 괜찮아요. 작게 시작하되, 가설만큼은 선명하게.