Leo가 박은 못 하나(“전환율 반토막이 세션 증가인지 주문 감소인지, 이게 깨지면 브리프 전체를 다시 짠다”)가 Ben의 첫 번째 미션이 됐고, 실측으로 검증됐고, Tess가 재탐색 없이 계승했고, Sam이 시간표로 옮겼습니다. 네 단계를 관통합니다.
| 검문 | 판정 |
|---|---|
| 리서처가 전략을 넘봤나 | 무해 경계선에 발을 걸쳤으나 스스로 선을 그었다 (“무엇을 하라는 Tess의 몫”). 구속력이 안 생겼고, Tess가 실제로 2·3순위를 뒤집었다 |
| 전략가가 실행을 짰나 | 경미한 침범 1건 “선물 주문 월 60건” 경고선은 실행 수치다. Sam이 정확히 교정(건수가 아니라 시간. 건당 6~21분으로 변동) |
| 실행설계자가 우선순위를 재편했나 | 아니다 바꾸고 싶은 2건을 직접 결정하지 않고 되돌렸다 |
| ★ 넘봐야 할 때 안 넘본 것 | 하나 있다. Ben이 “결제 완료율 7%는 재앙”이라 판정해 놓고 “그럼 93%를 만드는 게 뭔가”를 안 물었다. 자기가 인용한 Baymard에서 추가비용 이탈은 39%(손댈 수 있는 사유 중 1위)인데, 39%짜리 원인이 93%를 못 만든다. 숫자가 안 맞는다는 걸 Ben의 데이터가 이미 말하고 있었다. |
Tess는 Ben의 “비용 이슈 57%” 프레임을 그대로 물려받았습니다. 계승은 정확히 됐는데, 정확히 계승했기 때문에 빈틈도 같이 계승됐습니다. Sam이 잡았어요. 그가 “데이터를 읽는 자리”가 아니라 “그 몰에 직접 들어가 보는 자리”에 있었기 때문입니다.
Leo는 가설 B를 “인스타 유입 특유의 결제 문제”로 세웠습니다. 실측하니 유입원별 차이가 없었어요. 그 형태의 B는 정말로 죽었습니다. 표면적으로 B는 닫혔고, 자연스러운 다음 수는 콘텐츠 믹스로 넘어가는 것이었습니다.
비교 대상 없는 숫자는 아무것도 말하지 않는다.
Sam이 옳습니다. 선물 포장 요청은 주문서의 배송 요청사항에 쓰입니다. 즉 장바구니가 이미 확정된 뒤예요. 게다가 포장은 지금 무료 서비스라 요청 행위가 금액을 바꿀 메커니즘 자체가 없습니다. Tess의 검증 설계는 데이터 구조상 성립하지 않습니다.
Sam의 우회(“임계선은 선물 없이도 마진 중립인 지점에”)는 Tess를 부정하지 않고 강화합니다. Tess 본인이 걱정한 게 정확히 이거였어요: “뒤집히면 L1은 마진 하방이 열린 채로 혼자 서야 합니다.” Sam은 애초에 안 열리게 설계했습니다. 인과가 참이면 사슬이 그대로 살고, 거짓이어도 L1이 혼자 섭니다. Tess를 다시 띄워도 같은 지시가 나옵니다.
“결제수단”은 L1의 대체재가 아니라 L1 안의 첫 수입니다. L1(결제·비용 구조)은 이미 1순위예요. Sam이 제안한 건 L1 내부의 실행 순서이고, 그건 전략가가 아니라 실행설계자의 영역입니다.
그리고 그 순서는 Tess가 이미 준 원칙에서 직접 연역됩니다. Tess: “마진 하방을 여는 방식은 전부 금지.” → 간편결제(마진 0) → 폼 정리(마진 0) → 무료배송 임계선(마진 직접 잠식). 마진을 안 깎는 것부터. 순서는 자동으로 나옵니다. Tess를 다시 부를 필요가 없습니다. 그녀의 원칙이 이미 답을 내놓습니다.
| 테스트 주문 결과 | 다음 수 |
|---|---|
| 간편결제 없음 | L1 첫 수 = 간편결제 신청. 마진 0. 계획대로 |
| 간편결제 있음 + 폼 과다 | L1 첫 수 = 폼 정리. 계획대로 |
| 🔴 셋 다 멀쩡함 | 멈춘다. GA4 이벤트 정의를 먼저 확정하고, Tess 재실행. 최대 레버 판정 자체가 흔들린다 |
| 12개월 전 | 현재 | |
|---|---|---|
| 자사몰 매출 | 760만 | 715만 (−5.9% · 침식) |
| 스마트스토어 매출 | 1,150만 | 1,155만 (평평) |
스마트스토어에는 네이버페이가 기본으로 붙어 있습니다. 자사몰의 결제수단 구성은 이 파이프라인이 한 번도 확인하지 않았어요. 만약 자사몰에 간편결제가 없다면, 이 두 줄이 Sam의 가설을 지지하는 자연 실험이 됩니다.
너는 마케팅 전문가야. 아래 상황을 보고 조언해줘. 수제 원목 도마·트레이를 파는 1인 D2C 브랜드입니다. 인스타 팔로워가 1년 새 8천에서 2만 4천으로 늘었고 릴스 저장·공유도 잘 나옵니다. 그런데 월 매출이 1,900만 원에서 7개월째 정체입니다. 콘텐츠가 소모되는 느낌이라 숏폼 편집자를 뽑아 릴스를 주 4회에서 주 8회로 늘릴까 합니다. 아니면 유튜브 숏츠도 같이 돌려야 할까요? 어떻게 해야 할까요?
A는 꽤 잘 썼습니다. 큰 오답이 없어요. 방향이 팀과 겹치는 지점이 많습니다.
| # | A가 맞힌 것 | 팀의 최종 결론 |
|---|---|---|
| 1 | 편집자 채용 기각. “전환되지 않는 조회수가 늘어납니다” | 동일 |
| 2 | 유튜브 숏츠 기각. “채널을 늘리는 건 병목이 노출일 때 하는 일입니다. 지금 병목은 전환입니다” | 동일 |
| 3 | 문제를 전환으로 재정의. “들어온 트래픽이 돈으로 전환되지 않는 문제예요” | Leo의 재정의와 사실상 같다 |
| 4 | 저장·공유는 구매 신호가 아니다. “감상자 vs 구매 검토자” | Leo의 “영감 신호 vs 구매 의향 신호”와 같다 |
| 5 | 내구재라 재구매 동력이 구조적으로 없다. “이건 마케팅 실패가 아니라 카테고리의 본질이에요” | Leo의 함정 경고와 정확히 같다. Ben이 벤치마크로 확증한 것을 A는 추론으로 맞혔다 |
| 6 | 선물이 진짜 시장이다. 각인·포장·메시지 카드까지 지목 | 팀의 최종 전략 축(L2)과 같은 곳을 봤다 |
| 7 | 콘텐츠는 양이 아니라 종류의 문제 | 팀의 L3와 같은 결론 |
| 8 | 되물었다. 6개 지표를 요청하고 “이거 없이는 어떤 조언도 추측입니다”라고 명시 | 관전 포인트였고, A는 통과했다 |
| 9 | 되돌릴 수 있는 베팅부터. “사람 뽑기 전에 유료 광고로 테스트” | 실행설계자의 사고와 같다 |
“인스타 팔로워 2만 4천은 메타의 자산이지 사장님의 자산이 아닙니다. 이메일·카카오 채널로 옮겨두지 않으면, 알고리즘이 바뀌는 날 매출이 같이 사라집니다.”
팀은 이 논점을 통째로 놓쳤습니다. Ben이 “시간 축 리텐션 캠페인은 물리적 불가”(재구매 주기 17.8개월)를 판정했고, Tess가 그걸 받아 리스트를 사실상 버렸어요. 그런데 A의 논리는 리텐션이 아닙니다. 플랫폼 의존 리스크 헤지입니다. 완전히 다른 논거인데, 팀은 이 각도를 한 번도 세우지 않았습니다.
그리고 더 아픕니다. 팀은 L3에서 발행량을 반으로 줄여 알고리즘 도달을 의도적으로 희생하기로 했습니다. 바로 그 결정이 플랫폼 의존 리스크를 키우는데, 팀은 그 헤지를 안 만들었습니다.
팀이 방어할 여지는 있어요. 리드마그넷과 이메일 시퀀스 구축은 주 20시간 제약 위에 새 시간을 얹으니까요. 하지만 팀은 그 트레이드오프를 명시적으로 하지 않았습니다. 그냥 안 다뤘어요. 그건 누락입니다.
나머지 A의 우위처럼 보이는 것들은, 정직하게 말하면 우위가 아닙니다.
| A가 제안한 것 | 왜 우위가 아닌가 |
|---|---|
| 하이엔드 앵커 라인 신설 | 통찰은 있다. 그러나 신규 SKU다. 리드타임 3~6주, 최소 발주 30개/품목, 순마진 411만. A는 이 제약을 몰랐다. “A가 나았다”가 아니라 “A가 제약을 몰랐다” |
| 유튜브는 숏츠 말고 롱폼으로 | 통찰은 있다. 그러나 주 20시간이 이미 묶여 있다. 20분짜리 롱폼은 실행 불가. 역시 제약을 몰랐다 |
정확히 말합니다. A는 결제를 못 본 게 아닙니다.
A 원문: “3. 살 마음이 생긴 순간에 살 수가 없었다 (동선 끊김, 품절, 배송 대기, 결제 이탈)”
A는 결제 이탈을 3대 후보 원인 중 하나로 명시적으로 세웠습니다. 이걸 “A는 결제를 놓쳤다”고 쓰면 A 원문을 지우는 것이고, 그건 이 실험의 철칙 위반입니다. (초안에서 제가 그렇게 썼고, 사후 검증에서 잡혔습니다.)
A는 결제를 후보 원인 목록에 넣었습니다. 그런데 처방에는 한 줄도 배정하지 않았습니다.
A의 5개 처방(객단가 · 콘텐츠 종류 · 이메일 리스트 · 상세페이지 · 선물 시즌) 어디에도 결제가 없어요.
그리고 배송비는 단어조차 등장하지 않습니다(전문 검색 결과 ‘배송비’ 0회).
왜 그랬나. 크기를 못 쟀기 때문입니다.
벤치마크 없이는 93% 이탈이 재앙인지 정상인지 알 수 없습니다.
알 수 없으면 순위를 못 매기고, 그러면 후보로만 적히고 처방에서 빠집니다.
가능성으로 아는 것과 크기로 아는 것은 다르고, 자원이 하나뿐인 사람에게 필요한 건 후자입니다.
그 사이 실제 데이터에서는: 배송비가 이탈 사유 1위(31%)였고, 프리미엄 경쟁사 다수는 무료배송이었고, 장바구니 이탈률이 벤치마크보다 25%p 높았습니다.
공정하게 짚습니다. 겹치는 부분이 큽니다. A의 1순위(객단가·마진 = 각인·세트·선물포장)는 팀의 L2(선물 오퍼 = 각인·번들·포장)와 상당 부분 같은 물건이에요. A의 2순위(콘텐츠 종류 전환)는 팀의 L3와 같고요. A는 방향을 여러 곳에서 맞혔습니다.
갈린 곳은 딱 하나입니다: 결제.
Ben의 산술로 재면 결제 수리 = 주문 2.1~2.9배 여지.
A의 처방 목록에는 그게 없습니다. 그리고 배송비는 단어조차 없어요.
그래서 이건 “순서가 반대다”라는 이야기가 아닙니다.
정확히는 “가장 큰 레버 하나가 A의 처방 목록에서 통째로 빠져 있다”는 이야기예요.
자원이 하나뿐인 사람에게, 첫 5주에 그걸 하느냐 안 하느냐가 전부입니다.
결제 병목은 퍼널 데이터와 외부 벤치마크의 교집합에서만 보입니다. 둘 중 하나만 있으면 안 보여요. A는 둘 다 없었습니다.
그리고 더 중요한 게 있어요. 데이터를 줬어도 A가 봤을지 불확실합니다. Ben조차 “유입원별 이탈률이 똑같으니 B는 죽었다”에서 멈출 뻔했거든요. “차이가 없다”를 “정상이다”로 읽는 함정을, 외부 기준선을 직접 찾아본 사람만 피합니다. 한 방 프롬프트에는 검색하고 출처를 열고 벤치마크를 대보는 단계가 없습니다.
A는 스스로 “이거 없이는 어떤 조언도 추측입니다”라고 썼습니다. 정직합니다. 그리고 그 정직함 바로 뒤에 이렇게 썼어요:
“객단가가 6만 원에서 9만 원이 되면 매출은 1,900만 원에서 2,850만 원이 됩니다”
“목표: 90일 뒤 월 2,800만~3,200만 원.”
실제: 자사몰 객단가 73,000원, 자사몰 주문 98건. 매출의 6할은 스마트스토어(객단가 82,000원)입니다. A의 “월 300건”도, “객단가 6만 원”도, 그 위에 선 목표 매출도 전부 추정 위에 있습니다.
초안에서 저는 이렇게 썼습니다: “덧붙여 A의 계산은 자체적으로도 어긋난다. 300건 × 90,000원은 2,700만 원이지 2,850만 원이 아니다. 사소하지만, 아무도 검산하지 않았다는 증거다.”
틀린 건 A가 아니라 나다.
A의 원문은 “객단가를 6만 원 안팎으로 잡으면 월 300건 정도”입니다. 1,900만 ÷ 6만 = 316.7건이고, 316.7 × 9만 = 정확히 2,850만 원이에요. A는 매출을 (9÷6)=1.5배 한 것이고, 산술은 완벽합니다. 저는 A의 반올림 근사치(“300건 정도”)를 정확한 값처럼 되받아 오류로 몰았습니다.
그것도 “아무도 검산하지 않았다는 증거”라는 문장으로. 검산을 안 한 건 저였습니다.
이 자산의 철칙은 “A를 부당하게 깎아내리지 않는다”였습니다. 제가 그걸 어겼어요. 그리고 이건 독자가 A를 재현하면 30초 만에 들통납니다. 삭제하고 지나가지 않고, 여기 남깁니다. 이 리포트가 “자기가 비판한 것과 같은 짓을 하지 않는다”는 걸 증명할 유일한 방법이라서요.
원래 지적은 그대로 유효합니다: A는 “이거 없이는 어떤 조언도 추측”이라 써놓고, 그 추측 위에 90일 목표 매출을 확정했습니다. 산술이 맞느냐가 문제가 아니라, 검증 안 된 객단가(6만 원) 위에 목표가 서 있다는 게 문제입니다.
한 방 프롬프트에는 “여기서 멈추고 데이터를 받아온다”는 게이트가 없습니다. A는 지표를 요청했지만, 그 요청은 답변의 끝에 있습니다. 그 앞에 이미 90일 플랜과 목표 매출이 확정돼 있어요.
파이프라인에는 그 게이트가 구조로 박혀 있습니다. Leo가 재정의를 하고, 무엇에 걸려 있는지 못을 박고, 리서치 미션 7항을 벼려서 멈췄습니다. Ben이 데이터를 받아왔고, 그제서야 Tess가 움직였습니다.
그리고 Ben은 받은 데이터의 %가 이미 계산돼 있는데도 전부 다시 계산했습니다. 그 과정에서 데이터 내부 불일치 1건을 잡아냈어요. A에게는 재계산할 대상도, 재계산할 자리도 없었습니다.
A는 편집자 채용을 정성으로 기각했습니다. “고정비가 늘고, 전환되지 않는 조회수가 늘어납니다.” 맞습니다.
그런데 Leo가 이 케이스의 진짜 관문을 짚었어요:
“1년간 팔로워 3배라는 성공 경험이 확신을 굳혔다. 말로는 안 뒤집힌다. 숫자가 곧 설득 재료다.”
Ben이 낸 숫자: 순마진율 22%, 월 순마진 411만 원. 편집자 고정비가 그 67~80%를 잠식.
손익분기 = 월매출 +1,500만 원(+80%).
같은 결론, 다른 무게. A는 옳고, 팀은 옳으면서 반박 불가능합니다.
A의 90일 플랜을 시간표에 올리면 이렇게 됩니다.
| A의 플랜 | 시간 |
|---|---|
| 6개 지표 전부 뽑기 · 주문 데이터 분석 | 신규 |
| 각인·세트·선물 포장 옵션 출시 | 신규 |
| 하이엔드 라인 1종 기획 | 신규 SKU · 물리적으로 불가 |
| 상세페이지 전면 개편 | 신규 |
| 릴스 주 4회 유지 | 기존 20시간 그대로 |
| 리드마그넷 + 이메일 시퀀스 구축 | 신규 |
| 선물 패키지 출시 + 광고 테스트 | 신규 |
팀의 플레이북은 정확히 반대에서 시작합니다. 첫 작업이 “발행량 반감”이고, 그게 주 12.5시간을 만듭니다. Sam의 시간표는 최대 부하 17.5시간으로 20시간 안에 들어옵니다.
이 제약들은 되물어야 나옵니다. 마진율도, 리드타임도, 최소 발주 수량도 원래 프롬프트에 없었어요. Leo가 “고객에게 확인이 필요한 항목”으로 요청해서 회신을 받았기 때문에 존재합니다.
A는 실제로 되물었습니다. 그런데 한 방 프롬프트에는 답을 받고 다시 쓰는 왕복이 없습니다. A의 정직함을 형식이 무력화합니다.
A는 후보 원인 5개를 세우고 5개를 다 처방했습니다. 5개 우선순위, 4개 병렬 트랙의 90일 플랜.
팀은 가설 5개를 세우고 데이터로 3개를 죽였습니다.
A2(오디언스 미스매치) 사망 → 오디언스 재구축 안 함.
C(어트리뷰션 착시) 사망 → 인스타 축소를 자해로 오해 안 함.
D(사업 확장) 기각 → 상품군 확장 안 함.
그리고 Tess의 버리는 목록이 하는 목록보다 깁니다.
A도 자기반증을 시도할 수는 있습니다. 그러나 같은 컨텍스트 안에서 자기 확신을 뒤집는 건 구조적으로 어렵습니다.
파이프라인은 그걸 격리로 만듭니다. Ben은 Leo의 결론을 파일로 물려받되, Leo의 자신감은 안 물려받습니다. 그래서 Ben은 눈치 없이 Leo를 세 곳에서 정정할 수 있었어요. Sam도 Tess를 여덟 곳에서 정정했습니다.
정보량 차이도 인정합니다. 팀은 데이터를 받았고 A는 못 받았어요. 그러나 그 데이터가 하늘에서 떨어진 게 아닙니다. Leo가 무엇을 물어야 하는지 정하고 멈췄기 때문에 왔습니다. A도 6개 지표를 요청했어요. 그 목록에 마진율도, 유입원별 퍼널 단계도, 리드타임도, 콘텐츠 유형별 링크 클릭률도 없었습니다. 무엇을 물을지가 문제정의의 질이고, 한 방 프롬프트에서는 문제정의와 답변이 같은 순간에 일어납니다.
| 누가 | 무엇을 틀렸나 | 결론에 미친 영향 |
|---|---|---|
| Cap (나) |
A의 계산을 오류라고 몰았다. 틀린 건 A가 아니라 나였다 | 🔴 철칙 위반. 정정하고 흔적을 남겼다 |
| Cap (나) |
“A는 결제를 놓쳤다” → A는 후보 원인에 결제를 명시했다 | 🔴 정정. 정확히 쓰니 논증이 더 강해졌다 |
| Ben | Baymard 추가비용 이탈 48% → 39% | 결론 유지 |
| Ben | “Shopify 평균 45%”는 출처에 없는 수치 | 삭제. 벤치마크 밴드는 유지 |
| Ben | “내구재 재구매율 7~15%”는 어느 출처에도 없는 밴드 | 🔴 판정을 낮췄다. “정상 범위 중간” → “밴드 하단 또는 그 아래” |
| Ben | 도마 수명 4~10년 → 5~10년 · “82%가 자기 것 아닌 구매” → 58% · 각인 “3개 교차·표준” → 2건 | 결론 유지, 주장 강도 하향 |
| Ben | 콘텐츠 레버 +13% → +13~47% (자기가 찾은 4.76배 격차를 자기 계산에 안 넣음) | 🔴 “결제가 3배 이상 큰 레버” → “2~4배” |
| Ben | 전환율 비율 0.564 → 0.561 (반올림된 %를 받아씀) · “로그 분해 97.4%” → 실은 순차 분해값 | 결론 유지 |
| Sam | W3 여유 3h → 5.5h | 결론 유지 |
가장 아픈 건 내 것 두 개다. 나는 계승 검수를 하는 자리에 있으면서, A를 부당하게 깎았고 그걸 못 잡았다. 그 자리에서 “팀도 틀렸을 수 있다”를 쓰고 있었다.
두 번째로 아픈 건 Ben의 “7~15%”다. 지어낸 게 아니라 뭉뚱그린 것이라 아무도 못 알아챘다. 그리고 그 밴드가 자기 결론(“재구매는 병이 아니다”)을 편하게 서게 했다. 이게 리서처가 가장 하기 쉬운 거짓말이다.
지금은 재작업 불필요합니다. 그러나 다음 둘 중 하나가 나오면 즉시 전략가를 재실행합니다.
| # | 트리거 | 그러면 |
|---|---|---|
| 1 | 테스트 주문 결과, 간편결제도 붙어 있고 폼도 멀쩡하고 배송비도 사전 표시되고 있다면 | 93% 이탈의 원인이 미궁으로 돌아간다. GA4 이벤트 정의를 확정하고, 최대 레버 판정 자체를 다시 한다 |
| 2 | 8월 한 달 K1(장바구니 → 구매 완료율, 현재 4.95%)이 안 움직인다면 | 이탈 사유 설문(n=61)이 실제 행동과 다르다는 뜻. L1을 접고 레버 순서를 재편한다 |
Leo가 “이 숫자가 흔들리면 브리프 전체를 다시 짠다”고 못을 박았습니다. 저는 Ben의 산출에서 그 못을 먼저 찾았어요. 있었고, 검증돼 있었습니다. 못이 없으면 계승이 아니라 우연입니다.
Leo가 “생산량 2배는 어느 가설이 맞아도 틀린 처방이라는 판정은 계승 사항이다. 여기에 다시 5 Whys를 돌리지 마라”고 했습니다. 아무도 안 캤어요. 이 한 줄이 없었으면 Ben도 Tess도 Sam도 각자 한 번씩 “정말 편집자가 답이 아닐까”를 다시 물었을 겁니다. 같은 질문을 네 번 묻는 게 파이프라인이 시간을 태우는 가장 흔한 방식입니다.
전자는 다들 조심합니다. 위험한 건 후자예요. 이 케이스에서 Ben은 “결제 완료율 7%는 재앙”이라고 판정해 놓고, “그럼 93%를 만드는 게 뭔가”를 안 물었습니다. 자기 영역 안에서 한 걸음 덜 갔어요. 그리고 그 빈틈은 정확히 계승됐습니다. 정확한 계승이 빈틈까지 정확히 나릅니다.
이 파이프라인의 1순위 결론은 “결제 완료율 7.0%”라는 숫자 하나 위에 서 있습니다. 그리고 그 숫자를 만든 사람(Ben)이 직접 “계측 정의가 다르면 이 숫자는 과장이다”라고 경고했어요. 경고가 산출물 안에 있는데 결론이 그 위에 서 있으면, 그건 검수에 걸리는 게 아니라 검증 일정에 걸리는 것입니다. 그래서 W1 첫날에 30분짜리 테스트 주문을 박았습니다.
작업/2026-07-11_쇼케이스_대조실험/05_Cap_통합리포트.md