한 쇼핑몰의 AI 실험, 구매 전 상담에서 매출 효과가 가장 컸다

상품을 보러 온 사람이 마지막 버튼 앞에서 멈춥니다. 광고를 바꿀 수도 있지만, 그 사람이 실제로 궁금한 것은 재질과 배송일일 수 있습니다. AI를 어디에 넣느냐에 따라 결과가 크게 달랐던 온라인 소매 실험은 이 작은 차이를 보여줍니다.

2023~2024년 한 대형 해외 소매 플랫폼은 생성형 AI를 일곱 업무에 도입하면서 무작위 현장실험을 했습니다. 구매 전 상담, 검색어 개선, 상품 설명, 푸시 알림, 광고 제목의 다섯 실험에서는 세부 매출 자료를 분석할 수 있었습니다. 판매자 분쟁 대응과 실시간 번역을 다룬 나머지 두 실험은 플랫폼 내부 지표로 보고됐습니다. 따라서 ‘일곱 실험에서 매출이 모두 늘었다’고 읽으면 원문을 벗어납니다.

실제 화면에서 AI는 고객의 막힌 질문을 받았습니다

논문 부록의 예시는 휠 커버 상품을 보여줍니다. 기존 화면에서는 고객이 재질이나 배송 시점을 물어도 즉시 답을 얻기 어렵습니다. AI 상담이 있는 화면에서는 상품 관련 질문을 입력하고 해당 상품의 설명을 토대로 답을 받습니다. 핵심은 말투가 자연스러운 챗봇 자체가 아니라, 구매를 결정하는 데 필요한 정보가 그 자리에서 나오는지입니다.

총 4만 4,614명의 소비자를 관찰한 상담 실험에서 AI 제공 집단의 매출은 상담이 없는 대조군보다 16.3% 높았습니다. 전환율도 21.7% 높았고, 구매한 사람의 장바구니 금액 차이는 뚜렷하지 않았습니다. 더 비싼 상품을 팔았다기보다 구매를 끝낸 사람이 늘어난 결과에 가깝습니다. 반환율이나 구매 후 평점이 나빠졌다는 증거도 연구에서는 찾지 못했습니다. 다만 장기 재구매나 고객 생애가치까지 입증한 실험은 아닙니다.

다른 위치의 AI는 무엇을 바꿨을까요?

검색어를 다듬은 실험은 약 185만 명의 소비자에서 매출 +2.9%, 상품 설명을 생성한 실험은 약 477만 명의 소비자에서 +2.1%를 보였습니다. 검색과 설명도 결국 고객이 원하는 상품과 정보를 찾는 수고를 줄이는 위치입니다. 상품 설명의 경우 원래 설명이 50단어 미만인 일부 영어권 상품에서 효과가 더 컸습니다. 이미 풍부한 설명이 있는 곳까지 같은 성과를 기대하기 어렵다는 뜻입니다.

반면 푸시 메시지의 매출 추정치 +1.6%와 Google 광고 제목의 −4.5%는 통계적으로 뚜렷하지 않았습니다. 여기서 ‘푸시는 아무 효과가 없다’고 결론 내리면 중요한 세부 사항을 놓칩니다. 푸시 실험에서는 구매 전환율은 약 3% 높았습니다. 매출과 전환율은 서로 다른 지표입니다. 광고 제목 실험에서도 노출과 클릭은 줄었지만 매출 감소를 확정할 수 없었습니다. AI가 쓴 문구의 양보다 어느 단계에서 어떤 지표가 달라졌는지를 읽어야 합니다.

사람 상담과 비교하면 해석이 달라집니다

구매 전 상담의 +16.3%는 상담이 없는 상태와 비교한 수치입니다. 논문 부록에는 사람 상담을 포함한 추가 비교도 있습니다. AI 단독과 사람 상담 사이에는 매출과 전환율에서 통계적으로 뚜렷한 차이가 없었습니다. AI가 먼저 답하고 필요하면 사람에게 넘긴 방식은 상담이 없는 상태보다 매출이 약 25%, 전환율이 약 29% 높았습니다. 사람 상담만 있는 경우보다 매출은 약 11.5% 높았지만 유의성은 경계에 있었고, 전환율 차이는 뚜렷하지 않았습니다. 이 결과는 ‘사람을 없애라’보다 즉시 답할 질문과 사람이 맡을 예외를 구분하라는 해석에 더 가깝습니다.

한 플랫폼의 2023~2024년 실험이며, 연구자 일부는 해당 플랫폼에 고용되거나 자문했습니다. 국가·상품·기존 상담 수준이 다른 사업으로 효과 수치를 옮길 수 없습니다. 연구가 제시하는 더 안전한 원칙은 이렇습니다. AI의 기여는 이미 잘되는 일을 복제할 때보다 고객이 해결하지 못했던 정보의 빈칸을 메울 때 커질 수 있습니다.

이 글을 읽고 사이트에서 찾아볼 것은 ‘질문의 위치’입니다

신청형 서비스라면 고객이 가격, 자격, 처리 기간을 어디에서 묻는지 문의 기록과 검색어에서 찾을 수 있습니다. 반복되는 질문이 상품·신청 화면에 이미 답으로 보인다면 챗봇이 없어도 됩니다. 답이 자주 바뀌거나 개인 상황에 따라 달라진다면 원문 정책으로 검증한 안내와 사람에게 넘기는 경로가 필요합니다. 그다음에 같은 유입 조건에서 완료율이나 실제 매출이 달라지는지 관찰해야 합니다.