AI 에이전트를 여러 개 돌리면 빨라지지만, 같은 결과에 토큰은 두 배 든다

코딩 에이전트에게 웹사이트 수정을 맡기다 보면 한 번쯤 이런 생각이 듭니다. ‘에이전트를 여러 개 띄워서 동시에 시키면 더 빨리, 더 잘 끝나지 않을까?’ 요즘 도구들은 하위 에이전트를 여러 개 나눠 돌리는 기능을 기본으로 갖추고 있고, 화면 가득 에이전트가 동시에 일하는 모습은 꽤 든든해 보입니다. 그런데 며칠 뒤 사용량 청구서를 열어 보면 생각보다 숫자가 큽니다. 에이전트 수를 늘리면 정확히 무엇을 얻고 무엇을 내는 걸까요? 철학자이자 AI 연구자인 토비 오드(Toby Ord)가 OpenAI가 공개한 실험 그래프를 다시 분석해 이 질문에 꽤 선명한 답을 내놓았습니다.

에이전트 수를 늘리는 것도 결국 토큰을 더 쓰는 방법입니다

오드는 여러 에이전트를 함께 돌리는 ‘스웜(swarm)’을 새로운 형태의 추론 확장으로 봅니다. 지금까지 AI 성능을 끌어올리는 대표적인 방법은 에이전트 하나가 답을 내기 전에 더 오래 생각하게 하는 것이었습니다. 생각의 길이를 늘리면 성능은 오르지만 갈수록 비싸집니다. 오드가 이전 분석에서 보인 바로는 추론 시험 점수를 약 20%에서 약 80%로 끌어올리려면 생각의 길이, 곧 토큰과 비용을 대략 100배 늘려야 했습니다.

그렇다면 생각을 길게 하는 대신 에이전트 수를 늘리면 어떨까요. 오드가 근거로 쓴 것은 OpenAI의 새 모델 발표 글에 실린 그래프입니다. 에이전트 1개, 4개, 16개로 이루어진 세 가지 크기의 스웜이 생각 길이를 늘려 갈 때 점수가 어떻게 오르는지를 보여 줍니다. 결과는 의외로 단순했습니다. 같은 점수에 도달하는 데 가장 적은 토큰을 쓴 쪽은 에이전트 하나였습니다. 4개짜리 스웜은 같은 성능을 내는 데 전체 토큰을 약 두 배 썼고, 16개짜리는 다시 그 두 배쯤을 썼습니다. 에이전트를 늘린다고 일이 공짜로 나뉘는 것이 아니라, 서로의 작업을 맞추고 겹치는 데 드는 몫이 고스란히 토큰으로 나간다는 뜻입니다.

16개를 붙여도 혼자 4.9배 더 생각한 만큼에 그쳤습니다

오드는 이 차이를 경제학의 개념으로 설명합니다. 여러 사람이 한 일을 나눠 하면 더 빨리 끝나지만 보통 전체 노동 시간은 늘어납니다. 경제학자들은 N명이 함께 일한 성과가 한 사람이 N의 λ제곱 배만큼 오래 일한 것과 같다고 놓고, 이 λ를 ‘서로 발을 밟는 정도’를 나타내는 값으로 씁니다. λ가 1이면 완벽하게 나눌 수 있는 일이고, 보통은 0과 1 사이에 있습니다.

OpenAI 그래프에서 오드가 구한 값은 보안 취약점 과제인 SEC-Bench Pro에서 0.57이었습니다. 에이전트를 16배로 늘린 효과가 에이전트 하나의 생각 길이를 4.9배 늘린 효과와 같다는 뜻입니다. 같은 발표 글의 다른 두 시험에서도 값을 구했는데, 웹을 뒤져 답을 찾는 BrowseComp는 0.68, 터미널에서 명령을 이어 가며 푸는 Terminal-Bench는 0.48이었습니다. 오드의 계산으로는 에이전트 수를 10배 늘려도 에이전트 하나에 토큰을 10배 더 주었을 때만큼의 성과는 나오지 않고 3배에서 5배 수준에 그칩니다. 차이는 규모가 커질수록 벌어져서, 에이전트 하나의 토큰을 100배 늘린 효과를 스웜으로 얻으려면 에이전트 수를 900배에서 15,000배까지 늘려야 합니다.

흥미로운 점은 이 값들이 경제학자들이 사람으로 이루어진 팀에서 추정해 온 수치와 거의 비슷하다는 것입니다. 오드는 벽돌 벽 100개를 쌓는 일을 예로 듭니다. 이런 일은 100명까지는 거의 완벽하게 나눌 수 있지만 그 이상부터는 효율이 크게 떨어집니다. 어떤 일이 얼마나 잘 나뉘는지는 일의 성격에 달려 있고, AI 에이전트도 여기서 예외가 아니었습니다.

그래도 여러 개를 쓰는 이유는 속도입니다

토큰이 더 든다면 왜 스웜을 쓸까요. 오드의 답은 속도입니다. 4개짜리 스웜은 전체 토큰은 약 두 배를 썼지만 에이전트 하나당 토큰은 절반이면 충분했습니다. 에이전트들이 동시에 일하므로 이론적으로는 같은 일을 절반의 시간에 끝낼 수 있습니다. 16개로 늘리면 약 1/4의 시간에 4배의 비용을 쓰는 셈입니다. 실제 속도 향상은 이보다 조금 못한데, 일부 에이전트가 평균보다 토큰을 더 쓰기 때문일 수 있다고 오드는 덧붙입니다.

OpenAI 연구자 노엄 브라운(Noam Brown)도 한 팟캐스트에서 같은 그림을 설명했습니다. 에이전트 넷이 한 문제를 풀면 두 배 빨리 끝나고, 넷이 절반의 시간 동안 일하니 “2x more to get an answer twice as quickly”, 곧 답을 두 배 빨리 얻기 위해 비용을 두 배 내는 셈이라는 것입니다. 극단적인 사례도 있습니다. 오드에 따르면 OpenAI는 에이전트 10,000개짜리 스웜으로 수학의 오랜 난제인 나비에-스토크스 문제의 한 형태를 88시간 만에 풀었습니다. 오드는 이것을 같은 비용으로 얻는 새로운 성능이 아니라 돈이 거의 제약이 되지 않을 때 무엇이 가능한지 보여 준 시연으로 봐야 한다고 말합니다.

AI 회사 안에서는 에이전트 사용량이 이미 사람 비용과 견줄 만큼 커졌습니다

속도를 토큰으로 사는 선택이 실제로 어디까지 가는지는 AI 연구 기관 Epoch AI가 정리한 자료에서 볼 수 있습니다. OpenAI가 공개한 내부 자료를 API 가격으로 환산하면, 연구자 한 사람의 하루 코딩 에이전트 사용량은 중간값 기준으로 2026년 1월 1달러 미만에서 8월 중순 601달러로 늘었습니다. 많이 쓰는 쪽인 90번째 백분위 연구자는 8월 중순 하루 7,000달러를 넘게 썼고, 두 집단 모두 사용량이 대략 한 달마다 두 배가 되는 속도로 늘었습니다. Epoch는 90번째 백분위 연구자가 일하는 날마다 이만큼 쓴다면 1년 사용량이 연구자 한 명을 고용하는 비용과 맞먹거나 그보다 크다고 짚습니다.

이 숫자는 OpenAI의 실제 지출이 아니라 정가 기준으로 매긴 값이고, OpenAI가 스스로 보고한 자료라 외부에서 검증할 수 없습니다. 날마다 계산한 백분위라 같은 사람들을 따라간 기록도 아닙니다. 그래도 에이전트를 가장 잘 아는 조직에서 사람 한 명의 시간을 아끼기 위해 사람 한 명 값에 가까운 토큰을 쓰는 일이 이미 벌어지고 있다는 점은 분명합니다. 시간이 토큰보다 비싼 조직에서는 그 계산이 맞기 때문입니다.

작은 사업이라면 급하고 잘 나뉘는 일에만 여럿을 붙이는 편이 맞습니다

혼자 또는 작은 팀으로 온라인 사업을 하는 사람에게 사정은 반대인 경우가 많습니다. 토큰 예산은 빠듯하고, 대부분의 일은 몇 시간 늦게 끝나도 큰일이 나지 않습니다. 그렇다면 기본값은 에이전트 하나에게 충분히 생각할 시간을 주는 쪽이 맞습니다. 결제 흐름이나 회원 가입처럼 앞뒤가 얽힌 기능을 고칠 때가 대표적입니다. 터미널에서 명령을 이어 가는 과제의 λ가 가장 낮았던 것처럼, 서로 맞물린 일은 여럿이 나눌수록 발을 밟는 몫이 커집니다.

반대로 출시 전날 상품 상세 화면 여러 개를 동시에 손봐야 하거나 경쟁 서비스 여러 곳을 한꺼번에 조사해야 할 때처럼 시간이 급하고 조각이 서로 독립적인 일이라면, 여러 에이전트에 나눠 맡겨 시간을 사는 것이 합리적입니다. 웹을 찾아 답을 모으는 과제의 λ가 가장 높았다는 점도 이런 조사형 일에 스웜이 상대적으로 덜 손해라는 신호로 읽을 수 있습니다. 다만 λ 값은 OpenAI 그래프에서 읽어 낸 세 가지 시험의 추정치이고, 오드 자신도 일의 종류와 규모, 새로운 협업 방식에 따라 값이 달라질 수 있다고 말합니다. 내 작업에서는 같은 일을 한 번은 에이전트 하나로, 한 번은 여럿으로 시켜 걸린 시간과 토큰을 직접 비교해 보는 것이 가장 정확합니다.

에이전트를 여러 개 띄우는 것은 더 좋은 결과가 아니라 더 빠른 결과를 사는 일이니, 급하고 잘게 나뉘는 일에만 그 값을 치르세요.