홈 개편을 A/B 로 검증하려는 팀이라면, 여기어때가 이기고도 못 배운 이유부터

홈 화면을 뜯어고치고 A/B 테스트로 검증하려는 팀이 먼저 물어야 할 건 "이기면 뭘 배우나"입니다. 지면 배우는 게 많다는 건 다들 알아요. 문제는 이겼을 때죠. 여기어때 UX 팀이 쓴 홈 카드 개선기 2편은 이겼는데 이유를 몰랐고, 나중에 이유가 뒤집힌 과정을 그대로 적어 놨어요. 저는 이 글의 값어치가 JTBD 프레임이나 셀러카드 6종 변형이 아니라 그 뒤집힘을 공개한 데 있다고 봐요. 도입할 팀은 거기서부터 읽어야 합니다.

이긴 실험이 말해 준 것과 말해 주지 못한 것

실험 자체는 깔끔했어요. 2026년 3월 16일부터 24일까지 9일간 약 100만 명을 A안(기존 홈)과 B안(개선 홈)으로 나눴고, B안에서 유저당 총 거래액과 구매 전환율이 소폭 올랐고 가드레일 지표에 부정적 영향이 없어서 B안을 런칭했습니다. 보통 회고는 여기서 끝나죠.

그런데 이 팀은 세 가지 찜찜함을 적었어요. '최근 본 상품' 카드를 줄였더니 클릭률이 소폭 떨어졌고, 엘리트 혜택 모듈은 클릭률이 올랐는데 구매 전환율이 소폭 줄었고, 6개 모듈을 한 번에 바꿔서 뭐가 효과였는지 분리할 수 없었다는 겁니다. 그리고 실험이 끝난 뒤 후속 분석에서 '지금 여기' 모듈의 데이터가 과잉 집계된 게 확인됐어요. 성과의 진짜 원인은 다른 데 있었습니다.

원인은 첫 화면이었어요. 기준 해상도에서 '최근 본 상품'이 화면을 꽉 채워 그 아래 뭐가 있는지 짐작이 안 됐는데, 카드를 줄이자 쿠폰 영역이 하단에 걸쳐 보이면서 카테고리·배너·검색 같은 첫 화면 모듈로 주목도가 옮겨 갔고, 그쪽 탐색 유입이 늘어난 게 GMV 개선의 원인이었습니다. 아래 화면에 진입하지 않은 그룹이 진입한 그룹보다 총 거래액이 컸다는 데이터까지 나왔고요. 팀 스스로 "이번 실험에서 성과를 만든 건 홈의 카드가 예뻐져서가 아니라, 첫 화면에서 고객의 시선이 다시 흐르기 시작했기 때문이었습니다"라고 정리했어요.

제가 한 발 더 나가고 싶은 지점이 있습니다. 원인이 카드 축소 하나였다면 나머지 5개 모듈 변경은 중립이었거나 마이너스였을 수 있는데, 그걸 알 방법이 없다는 거예요. 가드레일에 부정 영향이 없었다는 것도 6개를 합친 결과지 모듈 하나하나의 결과가 아니거든요. 그리고 "아래로 안 내려간 그룹이 더 많이 샀다"는 인과보다 선택 효과일 가능성을 먼저 봐야 해요. 목적지를 정하고 온 고객은 원래 검색으로 바로 가고, 그 고객이 원래 더 많이 사니까요. 프로젝트 시작 때 있었던 회의적 시선 "여기어때 고객은 이미 목적지를 정하고 온다"를 데이터가 어느 정도 지지한 셈이라고 팀도 썼는데, 그렇다면 이 실험은 홈 개편의 효과를 잰 게 아니라 그 회의론을 확인한 실험에 가깝습니다.

'최근 본 상품' 축소도 공짜가 아니었어요. 유저 리서치에서 고객은 최근 본 상품을 쓸 때 숙소 사진을 중요하게 보고 제휴점명을 외워뒀다가 찾는 경우가 있었는데, 이미지가 작아지고 노출되는 상품명이 줄면서 클릭률이 소폭 떨어졌습니다. 한 화면에 카드가 많아져 고민이 늘었을 가능성도 팀이 짚었고요. 이걸 양날의 검이라고 불렀는데, 정확히는 홈 전체의 흐름을 위해 모듈 하나의 사용성을 지불한 거예요. BTF 에 뭐가 있는지 알리는 가장 확실한 방법이 그 일부를 미리 보여주는 것이었다는 판단은 맞았고, 그 지불이 맞았는지는 GMV 가 답했지만, 그 답이 6개 모듈 합산이라는 문제로 다시 돌아가죠.

클릭이 늘고 전환이 줄면 그 모듈은 성공인가

엘리트 모듈을 따로 보는 이유는 이게 홈 개편에서 가장 흔한 실패 유형이라서예요. JTBD 를 "멤버십 혜택을 놓치지 않고, 합리적인 가격으로 예약하고 싶다"로 잡고, 할인율을 filled 태그로 키우고, 엘리트 브랜딩 컬러 그라디언트를 깔고, 혜택을 말로 알려주는 문구를 더했습니다. 입구는 넓어졌고 클릭률은 올랐어요. 그런데 들어간 뒤 상품 화면에서 혜택이 체감되지 않으니 전환은 오히려 줄었죠. 팀은 "입구는 개선했지만 그 다음까지는 이어지지 않았던 겁니다"라고 썼습니다.

이건 디자인 팀 혼자 못 고쳐요. 모듈이 약속한 가치를 상품 단까지 잇는 건 가격 정책과 상품 상세 화면의 일이거든요. 홈 모듈 실험을 하면서 도착 화면을 안 건드리면 클릭률은 언제든 올릴 수 있고, 그건 대체로 전환을 갉아먹습니다. 이 팀이 그걸 숫자로 봤다는 게 다행이고, 다른 팀이 도입할 때는 홈 모듈의 성공 지표를 클릭률로 두지 않는 게 첫 번째 조건이에요.

어떤 팀에 맞고 어떤 팀에 안 맞나

모듈마다 JTBD 를 세우고 AS-IS 문제를 짚고 셀러카드를 변형하는 이 접근은 트래픽이 충분한 팀에 맞습니다. 9일에 100만 명이면 6개 모듈을 순차로 돌리거나 다변량으로 쪼갤 수 있는 규모예요. 그런데도 한 번에 바꾼 건 리소스와 일정 때문이었을 텐데, 그 대가가 "이겨도 배우지 못했다"였습니다. 트래픽이 이보다 적은 팀은 애초에 6개를 동시에 바꾸면 안 되고, 바꿀 거면 A/B 라는 이름을 붙이지 말고 리뉴얼 출시로 부르는 게 정직해요.

두 번째 조건은 지표 파이프라인입니다. '지금 여기'는 도시 이름과 작은 원형 썸네일 대신 인스타그램 스토리처럼 재생되던 영상을 1-depth 카드로 꺼낸 모듈인데, 이 모듈의 데이터가 과잉 집계됐다는 게 실험이 끝난 뒤에야 확인됐어요. 인터랙션 방식을 바꾼 모듈은 이벤트가 찍히는 방식도 같이 바뀌는데, 그걸 실험 전에 검증하지 않으면 결론이 통째로 흔들리잖아요. 도입할 팀은 새 모듈의 이벤트 집계를 실험 시작 전에 소량 트래픽으로 먼저 확인하는 걸 절차에 넣어야 합니다.

세 번째는 실험과 무관하게 남는 자산이 뭔지 정하는 거예요. 이 팀은 셀러카드를 YDS SellerCard 디자인 시스템 안에서 정의할 수 있는 형태로만 변형했습니다. 어떤 요소를 그대로 쓰고 어디까지 교체 가능하게 열고 무엇을 뼈대로 남길지를 먼저 정했고, 그 덕에 실험 결과와 무관하게 확장 규칙이 남았고 성과가 좋았던 모듈을 카홈 같은 다른 화면에 쓸지 검토할 수 있게 됐어요. 실험이 뒤집혀도 남는 게 있어야 팀이 다음 실험을 합니다. 홈의 사정만 보고 만든 예외는 시스템 전체의 부채로 돌아온다는 팀의 말에 저는 전적으로 동의해요.

1편에서 세운 목표 세 개로 채점하면 이 실험의 성적표는 이렇습니다. Seamless, 서로 다른 모듈이 하나의 홈처럼 이어져야 한다는 목표는 예상 밖의 방식으로 증명됐어요. 화려해진 카드가 아니라 '최근 본 상품'을 줄여 만든 흐름이 그 일을 했으니까요. Discovery 는 부분 확인이었습니다. 영상을 앞으로 꺼낸 '지금 여기', 이미지를 키운 '요즘 많이 찾는 펜션', 클릭 전 참고 정보를 늘린 '해외 인기 도시'는 반응했지만 모든 모듈이 그렇진 않았고, 왜 차이가 났는지는 이 실험으로 답할 수 없었어요. Scalable 은 결과와 무관하게 남았고요. 셋 중 확실히 건진 건 하나이고 그건 실험이 아니라 설계에서 나왔다는 게 제 채점이에요.

월요일에 홈 개편을 시작한다면

일단 한 번에 바꿀 모듈 수부터 정하세요. 그 수가 실험 설계를 정하지, 실험 설계가 그 수를 정하는 게 아니거든요. 모듈별 성공 지표는 클릭률이 아니라 도착 화면의 전환으로 두고요. 인터랙션이 바뀌는 모듈은 이벤트 집계를 먼저 검증하고, 변형은 디자인 시스템 안에서 정의해 실험이 실패해도 규칙이 남게 하는 것까지가 준비예요.

팀이 가장 크게 배웠다고 쓴 건, 디자이너도 무엇을 만들까만이 아니라 무엇을 검증할 수 있게 만들까를 함께 설계해야 한다는 것이었습니다. 저는 이 문장이 디자이너보다 PM 과 데이터 담당에게 먼저 가야 한다고 봐요. 검증 가능하게 만드는 건 화면 설계가 아니라 실험 설계와 이벤트 설계의 일이고, 그 둘이 디자인 리뷰 자리에 없으면 디자이너가 아무리 잘 만들어도 6개를 한 번에 바꾸는 결정을 막을 수 없거든요.

JTBD 프레임은 그다음입니다. 프레임이 좋아서 이 실험이 값진 게 아니라, 이겼는데 이유를 몰랐다는 걸 팀이 끝까지 추적했기 때문에 값이 생겼거든요. 그 추적을 할 여유와 문화가 없는 팀은 같은 방식을 따라 해도 "B안 승리"에서 멈추고, 그 승리는 다음 개편 때 아무것도 알려주지 않아요.