AI 모델 비용이 떨어져도 업무 비용은 따로 계산해야 한다

같은 수준의 AI 성능을 얻는 비용이 분기마다 크게 떨어졌다는 연구가 나왔습니다. 가격 하락은 새로운 일을 시도할 여지를 넓힙니다. 그렇지만 모델 호출료가 낮아지는 속도와 실제 사업에서 결과 한 건을 완성하는 비용은 같은 숫자가 아닙니다.

Epoch AI가 9월 22일 발표한 분석은 수학·과학·게임 문제 등을 포함한 다섯 주요 벤치마크에서 일정한 정답률을 얻는 가장 싼 비용이 2023년 이후 분기당 평균 약 47% 내려갔다고 추정합니다. 단순히 토큰 단가표를 비교한 것이 아닙니다. 여러 시점의 모델과 설정을 놓고 같은 성능 수준의 비용 경계를 추적했습니다. 이 방법이 왜 필요한지 이해하면 ‘AI가 싸졌다’는 말을 더 정확히 읽을 수 있습니다.

‘47%’는 무엇을 고정한 숫자인가

예를 들어 수학 문제를 70% 맞히는 데 과거에는 일정 금액이 들었고, 새 모델과 추론 설정으로 같은 70%를 더 싸게 얻을 수 있다면 그 차이를 셉니다. 더 높은 성능의 새 문제를 해결하는 비용이나 업무 현장의 총인건비를 직접 측정한 것이 아닙니다. 다섯 벤치마크의 분기별 추정치는 퍼즐에서는 대략 39~43%, 수학에서는 50~52%로 달랐습니다. 평균 47%를 내 프로젝트 예산의 절감률로 대입할 수 없는 이유입니다.

보고서는 최상위 성능이 막 등장했을 때 같은 수준의 성능 비용이 평균 분기당 약 66% 내려갔고, 그 성능이 등장한 지 2년쯤 지난 뒤에는 약 32%로 낮아졌다고도 분석합니다. 새로운 성능의 값이 처음에는 비싸다가 뒤따르는 모델이 늘며 빠르게 저렴해지는 장면을 보여줍니다. 다만 자료 기간은 약 3년이고, 벤치마크 선택과 비용 경계의 추정 방법에 따라 숫자가 달라집니다.

사업에서 재야 하는 분모는 ‘쓸 수 있는 결과’입니다

고객 답변 10개를 생성했다고 가정해 보겠습니다. 그중 사실 확인을 통과하고 수정 없이 보낼 수 있는 것이 6개라면 호출 비용을 10으로 나눈 값은 너무 낙관적입니다. 자료 준비와 검토, 고치기에 쓴 사람의 시간을 더한 뒤 실제로 승인된 6개로 나눠야 합니다. 더 싼 모델이 같은 품질을 낸다면 기회가 생기지만, 오류가 많아 검수가 늘면 결과 한 건의 비용은 오를 수도 있습니다.

이 소식은 단지 ‘지금 쓰는 모델을 더 싼 것으로 바꾸자’는 신호가 아닙니다. 예전에는 단가 때문에 포기했던 작은 분류, 고객 질문 정리, 자료 비교를 다시 시험할 여지가 커졌다는 뜻일 수 있습니다. 다만 외부로 나가는 결과에는 정확성, 민감정보, 담당자 승인 같은 비용이 계속 남습니다. 가격의 빠른 하락은 작은 실험의 문턱을 낮출 때 먼저 사업 가치로 이어질 수 있습니다. 실제 절감액은 내 작업 자료로만 확인할 수 있습니다.