AI 에이전트 도입 전, 업무 하나를 제대로 끝내는지 확인하기

회의에서 “이제 우리도 에이전트로 업무를 자동화하자”는 말이 나오면, 먼저 한 가지를 물어야 합니다. 지금 AI가 하는 일은 답변 초안을 만드는 것인가요, 아니면 자료를 찾고 판단한 뒤 외부 시스템에 결과를 남기는 것인가요? 두 번째 단계로 넘어가는 순간, 속도만큼 오류를 발견하고 멈추는 방법이 중요해집니다.

Stanford HAI의 2026 AI Index는 AI가 업무 현장에 널리 들어왔음을 보여줍니다. 조사 대상 조직의 88%가 적어도 한 기능에서 AI를 사용했고, 70%가 생성형 AI를 사용했습니다. 그런데 에이전트를 실제 업무 기능에 배치한 비율은 거의 모든 기능에서 한 자릿수였습니다. 숫자를 함께 놓고 보면 사람들은 이미 AI를 활용하고 있지만, 여러 단계를 AI가 이어서 처리하게 만드는 일에는 훨씬 신중하다는 사실이 보입니다. 이 비율은 조사 대상 조직과 설문 정의의 결과이며 모든 기업의 보급률은 아닙니다.

현장에서 복잡해지는 지점은 ‘다음 행동’입니다

Anthropic은 여러 업종의 고객 팀과 에이전트를 구축한 경험을 정리하면서 워크플로와 에이전트를 구분합니다. 워크플로는 사람이 정한 순서대로 모델과 도구가 움직입니다. 예컨대 문의를 “사용 방법·환불·기술 문제”로 분류한 뒤 각 담당 절차로 보내는 일입니다. 에이전트는 해결에 필요한 단계와 도구를 모델이 상황에 따라 고릅니다. 같은 고객지원이라도 주문 이력을 조회하고, 정책을 확인하고, 해결되지 않으면 사람에게 넘기는 과정이 매번 달라질 수 있습니다.

Anthropic이 소개한 고객지원 사례에는 대화창 뒤의 작업이 중요합니다. 주문 이력과 지식 문서를 찾는 도구, 환불이나 티켓 변경을 수행하는 도구, 실제로 해결됐는지 확인하는 기준이 필요합니다. 대답이 자연스럽다고 해결된 것은 아닙니다. 고객이 요청한 일이 정확히 끝났는지 확인할 수 있어야 합니다. 이 사례는 현장 설계에 관한 공급사의 경험담이지, 모든 기업에서의 비용 절감률을 입증한 실험 결과는 아닙니다.

코딩 에이전트 사례가 알려주는 검증의 역할

코딩은 에이전트가 잘 맞는 일의 한 예로 소개됩니다. 에이전트가 여러 파일을 고친 뒤 테스트를 실행하고, 실패한 결과를 보고 다시 수정할 수 있기 때문입니다. 그러나 테스트를 통과했다는 사실만으로 제품 요구사항이나 팀의 설계 원칙에 맞는지는 알 수 없습니다. Anthropic은 자신들의 구현 사례에서도 사람의 검토가 필요하다고 적습니다. 자동화가 유용해지는 조건에는 다시 확인할 수 있는 결과가 포함됩니다.

같은 원리는 업계 뉴스를 매일 읽는 편집 업무에도 적용됩니다. 새 글 후보를 모으고 날짜와 원문 주소를 기록하는 일은 고정된 절차로 만들기 쉽습니다. 반면 “이번 발표가 독자의 사업에 어떤 의미가 있나”를 판단할 때는 과거 자료와 비교하고, 발표사의 주장과 독립적인 근거를 구분해야 합니다. 그 판단을 AI에 맡긴다면 어떤 자료를 읽었고 어느 문장에서 결론을 냈는지 남겨야 합니다. 출처가 없거나 해석이 과도하면 발행 전에 사람이 되돌릴 수 있어야 합니다.

작게 시작한다는 말의 구체적인 뜻

Anthropic의 실무 안내는 단일 모델 호출로 충분한 일을 먼저 찾고, 고정된 순서가 필요한 경우 워크플로를, 단계를 미리 정하기 어려운 경우에만 자율적인 에이전트를 쓰라고 권합니다. 이유는 복잡한 구조가 처리 시간과 비용을 늘리고, 한 단계의 오류가 다음 단계로 이어질 수 있기 때문입니다. 최신 도구를 쓰는 것보다 문제에 맞는 작업 경로를 고르는 편이 중요합니다.

실무에서는 작은 업무 하나의 완료 기준을 먼저 적을 수 있습니다. 예를 들어 “공식 발표에서 날짜, 적용 대상, 달라진 기능을 찾아 한 문단으로 정리한다”가 업무라면, 열 건을 처리해 원문과 대조해 봅니다. 무엇을 정확히 찾았는지, 무엇을 놓쳤는지, 사람이 바로잡는 데 얼마나 걸렸는지 기록합니다. 반복해서 같은 유형의 오류가 나오면 도구를 더 붙이기 전에 원문 접근, 분류 기준, 검수 단계를 고칩니다. 이는 해당 조사에서 도출된 효과 수치가 아니라, 실무 자료를 토대로 세운 시험 방법입니다.

지금의 기회는 거대한 자동화 계획보다 검증 가능한 업무 하나를 안정적으로 끝내는 경험을 쌓는 데 있습니다. 그 경험이 쌓일수록 다음 단계에서 무엇을 자동화할지 더 정확하게 판단할 수 있습니다.