스마트 토큰 사용: Anthropic의 에이전트 설계

초기 테스트는 전략이 전적으로 실행에만 집중된 '대조군' 그룹에 초점을 맞췄습니다.

초기 '원샷' 실행 전략은 겨우 15%의 정확도를 달성했습니다. 제약 없는 환경에서 모델은 자연스럽게 다른 작업에 대해 다양한 토큰 예산을 채택했습니다. '구상(Dreaming)'과 같은 더 복잡한 전략은 성능 향상을 보였지만, 일부 사례에서는 최대 600,000 토큰을 소비하며 훨씬 더 많은 토큰을 필요로 했습니다.

다양한 작업 할당의 영향을 진정으로 평가하기 위해 Anthropic 엔지니어는 모든 전략에 걸쳐 최대 토큰 예산을 600,000 토큰으로 고정했습니다. 이 증가된 예산으로 표준 실행 정확도는 15%에서 76%로 크게 향상되었습니다. 그러나 조언 및 채점 역할을 통합한 전략은 성능을 90%에 가깝게 끌어올렸습니다. 이 고정 예산 접근 방식은 동일한 토큰 할당에도 불구하고 '조언(Advise)'과 같은 전략이 '실행(Execute)'의 76%에 비해 89%의 정확도를 달성하며 우수한 결과를 낳았음을 성공적으로 보여주어, 전략적 역할 할당으로 생성된 '알파'를 분리해냈습니다.

금융 분석과 같은 전문 분야에서는 손익 계산서 작성과 같은 작업에 100% 정확도가 필수적인 경우가 많습니다. 80% 정확한 결과는 실패로 간주되는데, 이는 인간 전문가가 여전히 전체 작업을 수동으로 재계산해야 하기 때문입니다. 이로 인해 평가 기준이 변경되었고, 실제 비즈니스 시나리오에서는 완전히 정확한 답변만 '합격'으로 간주됩니다.

엄격한 '100% 정확도' 기준 하에서, 실행 전용 전략은 42%의 합격률을 달성했습니다. 더 복잡한 전략은 최대 75%의 합격률을 기록하며 더 나은 결과를 보여주었습니다. 이 새로운 평가 프레임워크는 완벽하게 정확한 답변을 일관되게 달성하는 데 필요한 토큰 비용을 최소화하는 데 초점을 맞추었습니다.

실행 전략은 완벽한 답변을 얻기 위해 평균적으로 약 3번의 실행을 필요로 합니다. 개별 실행당 600,000 토큰의 고정 예산을 고려할 때, 실행 전략을 사용하여 하나의 완벽하게 정확한 답변을 얻기 위한 총 토큰 지출은 180만 토큰까지 증가할 수 있습니다.

조언 및 채점을 포함하는 전략은 실행에만 의존하는 전략보다 더 토큰 효율적인 것으로 입증되었습니다. 기업은 비용에 민감한 작업에 대해 토큰 효율성을 우선시할지(조언이 이상적인 전략), 아니면 채점 및 구상 전략이 선호되는 중요한 운영에 대해 신뢰성을 극대화할지 선택에 직면합니다. 이 결정은 특정 비즈니스 목표와 오류 허용 범위에 따라 달라집니다.

Anthropic 연구의 핵심 교훈은 토큰이 대체 가능한 상품이 아니라는 것입니다. 무차별적인 실행을 위해 단순히 예산을 늘리는 대신, 고정된 예산 내에서 토큰에 다른 작업을 전략적으로 할당하는 것이 훨씬 더 나은 결과를 가져옵니다. 이 패러다임 변화는 단순한 볼륨에서 벗어나 지능적인 작업 관리 및 다각적인 토큰 역할로의 전환을 장려합니다.

Anthropic의 Claude Managed Agents는 개별 에이전트를 효과적으로 조율하기 위한 아키텍처 프레임워크를 제공합니다. 이 메타 하니스 수준의 조정은 실행, 조언 및 채점 역할의 원활한 통합을 가능하게 합니다. 이 플랫폼은 구상 및 결과 평가에 대한 즉시 사용 가능한 지원을 제공합니다. 이 구조화된 접근 방식은 기본 프리미티브가 설정되면 복잡한 피드백 루프 구축을 단순화하여 다양하고 동적인 문제에 대한 대규모 아키텍처 생성을 가능하게 합니다.

Anthropic의 장기적인 목표는 사용자를 위해 이러한 정교한 전략을 자율적으로 동적으로 구성하도록 모델과 플랫폼을 향상시키는 것입니다. 그동안 회사는 사용자들이 효과적인 솔루션을 구축하기 위해 프리미티브를 수동으로 계속 결합하도록 권장합니다.