AI 가상 고객 설문, 결론은 사람과 같았지만 드문 답은 사라졌다

새 상품 이름이나 상세페이지 문구를 정하기 전에 고객 생각이 궁금해집니다. 설문 패널을 모으자니 돈과 시간이 들고, 그래서 요즘은 “AI한테 고객 백 명 역할을 시켜서 물어보면 되지 않나”라는 말이 자연스럽게 나옵니다. 몇 분이면 그럴듯한 답이 수십 개 쏟아지고 결론도 깔끔합니다. 남는 질문은 하나입니다. 그 답이 실제 고객과 어디까지 닮았을까요.

가상 응답자도 큰 결론은 사람과 같은 곳을 가리켰습니다

사용자 경험 연구 기관 Nielsen Norman Group(NN/g)이 이 질문을 직접 시험했습니다. 앞서 기술·디자인 분야 실무자 604명에게 “사람들의 필요와 경험을 조사해 제품을 어떻게 만들고 고칠지 제안하는 일을 한 단어로 부른다면 무엇인가”를 물은 설문이 있었는데, 같은 질문을 AI가 만든 가상 응답자에게 던져 두 결과를 비교한 것입니다. 가상 응답은 2026년 2월, 연구 참가자를 흉내 내는 서비스 Synthetic Users로 받았습니다. 연구 계획과 포함·제외 기준을 넣자 서비스가 120명의 가상 응답자를 만들고, 각자에게 나이·지역·직업·문화 배경·조직 형태·성격 특성 같은 프로필을 붙였습니다.

큰 그림은 같았습니다. 사람 설문도 가상 설문도 ‘UX’를 대신할 새 이름은 아직 없다는 결론을 가리켰습니다. 가상 응답자의 84%가 UX 관련 용어를 썼고 사람은 약 70%였습니다. 이 14%포인트 차이는 통계적으로 의미가 있었지만, “UX가 여전히 대표 용어”라는 실무 결론을 바꿀 정도는 아니었습니다. 여기까지만 보면 가상 고객으로 설문을 대신해도 될 것처럼 보입니다.

더 넓게 뽑았는데도 답은 더 한쪽으로 쏠렸습니다

흥미로운 건 표본 구성입니다. 사람 설문은 NN/g 자체 채널로 모집해 UX에 익숙한 사람이 많았습니다. 응답자의 67%가 UX 직군이었습니다. 반면 가상 응답자는 일부러 직군별 할당을 정해 UX 직군이 20%뿐이었습니다. 더 다양한 직업을 대표하도록 설계했으니 UX라는 말은 오히려 덜 나와야 자연스럽습니다. 결과는 반대였습니다. UX와 거리가 먼 사람이 더 많은 가상 표본에서 UX 용어가 더 자주 나왔습니다.

답의 폭에서도 차이가 뚜렷했습니다. 사람들은 ‘소비자 행동 연구’, ‘디지털 경험 전략’, ‘고객 여정 관리’, ‘인간공학’처럼 50가지가 넘는 이름을 댔고, 그중 대부분은 한 번이나 몇 번만 등장했습니다. 가상 응답자들은 몇 안 되는 이름에 몰렸고, ‘디지털 관리’나 ‘비즈니스 분석’ 같은 드문 답은 하나도 내놓지 않았습니다. 인터뷰 형식이라 사람보다 훨씬 길게 말했는데도 그랬습니다. NN/g는 이를 머신러닝 용어인 모드 붕괴(mode collapse)로 설명합니다. 가장 흔한 답은 그대로 재현하지만 실제 사람들 사이에 퍼져 있는 드문 답의 긴 꼬리는 잘려 나간다는 뜻입니다. 플랫폼이 질문 문장을 대화하듯 조금씩 바꿔 물은 점도 결과에 영향을 줬을 수 있어서, 연구자가 질문 방식을 통제하기 어렵다는 것 자체가 한계로 지적됐습니다.

고객 집단 사이의 차이는 남지만 실제보다 작게 보입니다

직업에 따른 차이가 아예 사라지지는 않았습니다. 가상 응답자 가운데 고객 인사이트 직군의 45%가 ‘고객’이라는 말을 썼고 가상 UX 직군은 0%였습니다. 시장조사 직군의 30%는 ‘시장’이라는 말을 썼습니다. 그런데 같은 직군끼리 사람과 비교하면 쏠림이 다시 보입니다. 가상 프로덕트 매니저는 93%가 UX 용어를 썼지만 실제 프로덕트 매니저는 44%였습니다. 직군마다 각자의 언어가 있다는 사실은 남았지만, 모두가 가장 흔한 답 쪽으로 끌려간 셈입니다.

온라인 사업에 옮기면 이런 장면입니다. 젊은 고객과 중장년 고객이 같은 상품을 어떻게 부르는지, 처음 사는 사람과 다시 사는 사람이 무엇을 망설이는지 알고 싶을 때 가상 고객은 “둘 다 비슷하게 생각한다”는 쪽으로 기울 수 있습니다. 집단 차이를 보려고 쓴 도구가 그 차이를 줄여 보여 주는 것입니다.

실제 사람 자료를 많이 넣을수록 가상 응답자는 사람에 가까워졌습니다

다른 연구들도 비슷한 그림을 보여 줍니다. NN/g가 정리한 위스콘신대 Arora 연구팀의 마케팅 연구는 냉장 반려견 사료에 대한 605명 설문을, 인구 구성을 맞춘 가상 응답자와 비교했습니다. 5점 척도 구매 의향은 사람 1.66, 가상 응답자 1.58로 둘 다 낮게 나와 방향은 같았지만 차이는 통계적으로 의미가 있었고, 가상 응답의 표준편차는 일관되게 사람보다 작았습니다. 답이 평균 근처에 몰렸다는 뜻입니다. 연구팀이 반려견 주인 16명의 실제 인터뷰 기록을 찾아 쓰게 하자 답이 조금 더 다양해졌습니다.

스탠퍼드·구글 연구팀의 연구는 그 차이를 더 분명하게 보여 줍니다. 미국인 1,052명과 두 시간짜리 인터뷰를 하고 그 기록으로 한 사람씩 AI 에이전트를 만들었습니다. 처음 보는 사회조사 문항에서 인터뷰만 넣은 에이전트, 설문만 넣은 에이전트, 둘을 합친 에이전트는 각각 참가자 본인이 두 주 뒤 같은 질문에 같은 답을 한 수준의 83%, 82%, 86% 정확도를 보였고, 나이·성별 같은 인구통계만 넣은 에이전트는 74%였습니다. 우리가 흔히 쓰는 “직장인 여성인 척 답해 줘” 식의 가상 고객이 가장 약한 쪽이라는 뜻입니다. 연구팀은 인터뷰 기반 에이전트가 성격 검사와 경제 게임, 사회과학 실험 반응까지 예측했고, 인구통계만 넣은 에이전트보다 인종·정치 성향 집단 사이의 정확도 격차도 줄였다고 보고합니다.

사람 자료가 있어도 한계는 남습니다. 미국 종합사회조사(GSS) 수십 년 치 응답으로 언어모델을 학습시킨 Kim·Lee의 연구에서는, 응답자가 건너뛴 문항이나 어떤 해에 묻지 않은 문항을 채워 넣는 일은 잘 해냈지만 한 번도 묻지 않은 새 질문의 답을 맞히는 성능은 평범한 수준에 머물렀습니다. 이미 고객에게 들은 이야기의 빈칸은 메울 수 있어도, 아직 아무도 묻지 않은 질문의 답을 대신 만들어 주지는 못한다는 뜻입니다.

AI 특유의 맞춰 주는 성향도 걸립니다. NN/g의 이전 평가에서 온라인 강의 수강자를 인터뷰했을 때 실제 사람들은 강의를 시작만 하고 끝내지 못한 경우가 많았는데, 가상 응답자는 들은 강의를 모두 끝냈다고 낙관적으로 답했습니다. 고객이 왜 장바구니에서 떠나는지, 왜 구독을 끊는지처럼 불편한 진실이 필요한 질문일수록 가상 고객의 답은 실제보다 매끈할 가능성이 큽니다.

가상 고객으로 큰 방향을 보고, 드문 목소리는 사람에게 묻습니다

정리하면 쓸 자리가 분명합니다. 상품 이름 후보 몇 개 중 무엇이 가장 무난한지, 상세페이지에서 흔히 나올 질문이 무엇인지처럼 가장 흔한 답이 필요할 때는 가상 고객이 빠르고 싸게 출발점을 줍니다. 반대로 내가 미처 생각하지 못한 표현, 소수 고객이 느끼는 불편, 집단별 차이처럼 꼬리에 있는 답이 중요한 질문에는 실제 고객이 필요합니다. NN/g가 지적하듯 AI에게 “더 다양하게 답해”라고 시켜도, 그 다양함이 실제 사람들의 분포를 닮았는지는 사람 자료와 비교하기 전에는 알 수 없습니다. 가상 고객을 쓰더라도 상담 기록, 리뷰, 문의 내용처럼 내 고객이 남긴 실제 말을 함께 넣고, 거기서 나온 결론은 실제 고객 몇 명에게 열린 질문으로 다시 확인하는 순서가 안전합니다.

AI 가상 고객은 가장 흔한 답을 빨리 알려 주지만, 사업의 기회가 숨어 있는 드문 답은 여전히 실제 고객에게서 나옵니다.