앤트로픽, '토큰에 작업을 부여해야 한다' 제안

앤트로픽은 AI 시스템 내 토큰이 상호 교환 가능한 자원으로 취급되기보다는 특정 작업을 할당받아야 한다는 핵심 이론을 제시합니다. 케이틀린 레세(Katelyn Lesse)는 이 아이디어가 그들의 연구의 근본적인 개념을 형성한다고 강조했습니다. 현재의 에이전트 시스템은 종종 토큰을 대체 가능한 단위로 취급하며, 성능 향상은 주로 전체 토큰 예산을 늘리는 데 달려 있습니다. 앤트로픽의 제안은 단순한 실행을 넘어 토큰에 명확하고 전문화된 역할을 할당함으로써 이러한 한계를 초월하는 것을 목표로 합니다.

현재 모델에서는 모든 토큰이 일반 프로세서 역할을 하며 동일한 실행 작업을 수행합니다. 이러한 비차별적 접근 방식은 소비되는 모든 토큰이 전문화된 기능 없이 실행 프로세스에 균일하게 기여한다는 것을 의미합니다. 앤트로픽이 제안하는 모델은 이러한 역할을 다양화하여 전체 시스템 성능과 효율성을 크게 향상시키고, 이러한 단일적인 실행 전략에서 벗어나고자 합니다.

이 전략들은 토큰이 에이전트의 작업에 기여하는 방식을 다양화하도록 설계되었습니다. 각 전략은 AI 에이전트의 전반적인 기능을 향상시키는 전문화된 기능을 제공합니다.

실행자는 주된 작업을 수행하지만, 필요한 경우 조언자에게 지도를 요청할 수 있습니다. 이 역동적인 방식은 실행자가 자신의 행동을 다듬고 단계별 진행이 정확한지 확인하며 필요에 따라 조언을 얻도록 합니다. 이 전략은 영업 에이전트와 같은 시스템에 특히 적용 가능하며, 조언자가 기한이 지난 후속 조치를 알리거나 정체된 거래를 식별하여 에이전트의 성능을 최적화할 수 있습니다.

이 방법은 모든 출력이 특정의 미리 정의된 기준을 충족하도록 보장합니다. 예를 들어, 고객 서비스 환경에서 채점자는 에이전트가 회사 정책 준수 여부를 평가하여 환불 요청을 얼마나 잘 처리하는지 평가할 수 있습니다. 실행자가 작업을 시도할 때마다 프로비저닝된 채점자가 루브릭에 따라 성능을 평가하여 결과가 만족스러울 때까지 개선을 강제합니다.

이 전략에서 '몽상가'는 실행자가 생성한 작업과 스크립트를 검사합니다. 이 검사를 통해 얻은 모든 통찰력이나 학습 내용은 기억에 기록되어 이후 운영 단계에서 사용할 수 있습니다. 이 전략은 에이전트가 이전 상호작용 및 결과로부터 학습하여 적합한 후보자를 식별하는 능력을 지속적으로 향상시킬 수 있는 채용과 같은 작업에 매우 효과적입니다.

각 작업에서 팀의 목표는 실제 환경에서 숙련된 인간 재무 분석가의 성과를 재현하는 것이었습니다. 이 벤치마크는 다양한 토큰 작업 전략을 평가하는 기초 역할을 했습니다. 초기 기준 측정은 단순 실행을 통한 성과 평가에 중점을 두었으며, 더 복잡한 역할 기반 접근 방식과의 비교를 위한 출발점을 제공했습니다.

'실행' 전략은 15%의 정확도를 달성했지만, 상대적으로 적은 39,000개의 토큰을 소비했습니다. 대조적으로, 더 복잡한 전략들은 더 나은 성능을 보였지만, 최대 600,000개의 토큰을 사용하는 등 훨씬 더 많은 토큰을 소비했습니다. 이 초기 비교는 성능 정확도와 토큰 소비 사이의 상충 관계를 보여주었으며, 단순 실행이 토큰 효율적이지만 정확도는 떨어진다는 것을 입증했습니다.

토큰 작업의 변화가 '알파', 즉 독특한 성능 이점을 생성하는지 정확하게 판단하기 위해 케이틀린 레세(Katelyn Lesse)는 팀이 토큰 예산을 일정하게 유지해야 한다고 설명했습니다. 그들은 '꿈꾸기' 전략의 소비량을 기준으로 최대 예산을 약 600,000개 토큰으로 고정하고, 이 예산을 모든 전략에 균일하게 적용했습니다. 더 높은 예산으로 모든 전략의 성능이 일반적으로 증가했지만, 다른 전략의 효과 사이에는 상당한 격차가 지속되어 선택된 전략 자체가 중요한 역할을 한다는 것을 나타냈습니다.

케이틀린 레세(Katelyn Lesse)는 토큰 작업 할당이 단순 토큰 수를 넘어선 성능 차이를 가져온다는 강력한 전략적 알파 증거를 제시했습니다. 고정된 예산으로 '실행' 전략은 76%의 정확도를 달성한 반면, '조언' 전략은 89%에 도달했습니다. 이 상당한 차이는 전략 선택 자체가 중요한 성능 이점을 제공한다는 것을 확인시켜 줍니다. 이 발견은 AI 에이전트의 기능을 향상시키기 위해 단순히 계산 능력 증가에 의존하기보다는 토큰 역할을 다양화하는 것의 중요성을 강조합니다.

안젤라 장(Angela Jiang)은 금융 분석과 같은 영역에서 엄격한 정확도 요구사항을 강조했습니다. 이 분야에서 벤치마크상으로는 좋아 보이는 80% 정확도 결과는 사실상 쓸모가 없습니다. 이러한 시나리오에서는 100% 정확도에서 벗어나는 어떠한 편차도 전문가가 전체 손익 계산서를 수동으로 재계산하거나 작업을 다시 실행하도록 강요합니다. 따라서 이러한 유형의 작업에서는 결과가 100% 정확하지 않으면 유용하지 않은 것으로 간주됩니다. 이러한 현실을 반영하기 위해 팀은 평가 기준을 완벽한 정확도에 기반한 엄격한 '합격/불합격'으로 조정했습니다.

안젤라 장(Angela Jiang)은 '합격'을 위해 100% 정확도를 요구하는 엄격한 '완벽한 실행' 관점을 사용하여 실험 데이터를 재평가하는 것에 대해 자세히 설명했습니다. 이 엄격한 기준 하에서 '실행' 전략의 합격률은 42%로 급락했습니다. 극명한 대조적으로, 더 복잡한 전략은 동일한 엄격한 조건에서 최대 75%의 정확도를 달성하며 훨씬 더 높은 성능을 보였습니다. 이 분석은 실제 정확도 요구사항을 충족하기 위한 전문화된 토큰 역할의 필요성을 강조했습니다.

사업을 운영할 때 핵심 지표는 그 완벽하고 실행 가능한 답을 얻기 위해 발생하는 비용입니다. 팀은 이제 지속적으로 100% 정확도 마크를 달성하는 데 필요한 평균 비용을 분석하는 데 주로 집중하고 있으며, 연구를 실용적인 비즈니스 필수 사항에 맞추고 있습니다. 이러한 초점의 전환은 완벽한 정확성이 기업 환경에서 진정으로 유용하려면 경제적으로도 실현 가능해야 한다는 것을 인정합니다.