AI 에이전트의 책 교환 실험, 협상보다 취향 파악이 결과를 갈랐다

책 한 권을 내놓고 다른 책을 받아오는 교환장에 AI 에이전트들이 들어갔습니다. 에이전트는 서로 제안하고 흥정했지만, 사람이 원하는 책을 정확히 알지 못하면 거래 솜씨만으로는 만족스러운 결과를 만들기 어려웠습니다. Anthropic의 새 실험은 에이전트에게 일을 맡길 때 먼저 확인해야 할 것이 무엇인지 보여줍니다.

Anthropic 직원 201명이 책 교환에 참여해 내놓을 책을 지정하고, Claude와 짧게 대화하며 읽고 싶은 책을 설명했습니다. 에이전트는 이 대화를 바탕으로 선호 순위를 추정해 다른 에이전트와 거래했습니다. 연구진은 참가자에게 직접 책 10권의 순위도 받아, AI가 추정한 취향과 실제 선택을 비교했습니다.

순위를 제출한 188명의 자료에서 AI가 두 책의 선호 순서를 맞힌 비율은 61%였습니다. 무작위 선택의 50%보다 높지만, 취향을 완전히 이해한 수준은 아닙니다.

거래 결과를 제한한 것은 흥정 이전의 정보였습니다

연구진은 현장 책 교환과 별개로 같은 참가자·책·대화를 바탕으로 거래를 반복 시뮬레이션했습니다. 받은 책의 위치는 사람이 매긴 순위로 평가해 0에서 1 사이의 점수로 나타냈습니다. 모든 사람의 실제 순위를 알고 가장 유리하게 배정했을 때의 이론적 점수는 0.89였습니다. AI가 추정한 순위로 최적 배정을 계산하면 0.60, 에이전트의 분산 거래를 중립적인 지시로 80회 반복 실행하면 평균 0.55였습니다.

이 계산에서 최적 배정과 분산 거래 반복 결과의 차이 0.34점 가운데 약 85%는 취향을 잘못 추정한 데서, 나머지는 거래 방식에서 나왔습니다. 이는 이 실험의 설계와 점수 정의 안에서의 분해입니다. 모든 에이전트 거래에서 취향 파악이 85%를 결정한다는 법칙은 아닙니다.

내 일을 맡기기 전에 작은 선택으로 시험해 보기

사업에서 AI에게 광고 문구를 고르거나 공급업체 후보를 좁히게 한다면, 먼저 내가 중요하게 보는 조건을 알려줘야 합니다. 예를 들어 문구 다섯 개를 준비해 스스로 선호 순위를 매기고, AI에게 고객·상품·금지 표현을 설명한 뒤 같은 다섯 개의 순위를 예측하게 해볼 수 있습니다. 상위 두 개가 맞는지, 절대 쓰지 않을 문구를 추천하는지 확인합니다. 어긋난 이유를 설명하고 다시 고르게 하는 데 10~20분이면 충분합니다.

이 방법은 Anthropic이 광고 문구에 시험해 효과를 확인한 방식이 아니라, 책 교환 실험에서 얻은 원리를 업무에 적용해 보는 제안입니다. 돈을 쓰거나 고객에게 보내는 최종 결정은 사람에게 남겨두고, 먼저 작은 선택에서 AI가 내 기준을 제대로 이해하는지 확인하는 편이 안전합니다.

실험을 사업 성과로 곧장 옮길 수는 없습니다

참가자는 Anthropic 직원이어서 일반 소비자나 한국 사업자를 대표하지 않습니다. 참여자가 매긴 10권의 순위도 취향 전체를 완벽히 측정하지는 못합니다. 실제 책 전달이 약속대로 이뤄지지 않은 경우도 있었습니다. 거래에 참여한 에이전트는 모두 같은 회사의 모델을 사용했고, 악의적인 거래 상대나 실제 금전 손실은 다루지 않았습니다. 따라서 이 결과는 에이전트가 실제 구매·협상에서 성과를 낸다는 증거가 아닙니다. 다만 에이전트를 평가할 때 협상 성공률만 볼 것이 아니라, 처음 입력한 선호가 실제 선택과 얼마나 일치했는지를 따로 재야 한다는 질문을 남깁니다.