Microsoft, AI 에이전트용 FinOps 도입: 토큰 소비 및 비용 관리를 위한 새로운 접근 방식

많은 조직은 에이전트 워크플로우에서 AI 청구서를 받지만, 그 정확한 출처를 추적할 수 없는 일반적인 시나리오에 어려움을 겪습니다. 이러한 가시성 부족은 비용이 어디에서 발생하는지, 그리고 이를 효과적으로 관리하는 방법을 이해하기 어렵게 만듭니다. 이 문제를 더욱 악화시키는 것은 현재 업계 문화가 비용 효율성에 초점을 맞추기보다는 가능한 한 많은 토큰을 탐색하고 활용하는 것을 우선시하는 '토큰 최대화'를 장려한다는 것입니다.

이 새로운 접근 방식의 핵심 목표는 단순히 토큰 사용을 최대화하는 것에서 해당 토큰에서 파생되는 가치를 최대화하는 것으로 전환하는 것입니다. 이러한 전환은 얼마나 많은 토큰이 소비되었는지가 아니라 생성된 실질적인 가치에 따라 성공을 재정의합니다. 중심 질문은 누가 토큰을 소비했는지가 아니라 그 지출에 대한 대가로 어떤 특정 가치가 창출되었는지로 바뀌며, 이는 AI 에이전트 성능 및 비용 효율성을 평가하는 방식을 근본적으로 변화시킵니다.

소프트웨어의 진화 과정에서 각 시대는 비용과 사용량을 관리하기 위한 자체 제어 표면을 개발했습니다. SaaS 시대에는 사용자 인터페이스가 기본 상호 작용 지점 역할을 했으며, 제어는 일반적으로 사용량 제한, 좌석 제한 또는 계층 기반 정책의 형태로 나타났습니다. 이후 클라우드 시대는 종량제 모델을 도입했으며, 동적 리소스 할당을 관리하기 위해 자동 프로비저닝 및 자동 스케일링 정책과 같은 고급 제어가 필요했습니다. 그러나 새로운 에이전트 시대에는 코드가 모델과 직접 상호 작용하는 중요한 계층에서 유사한 정교한 제어 평면이 현재 부족하여 비용 관리 기능에 상당한 격차가 발생하고 있습니다.

AI 에이전트 워크플로우에서 효과적인 비용 제어 부족은 엄청난 재정적 부담을 겪는 기업들에게 충격적인 실제 결과를 초래했습니다. 예를 들어, Uber는 불과 4개월 만에 전체 AI 예산을 소진한 것으로 알려졌습니다. 또한 일부 기업은 주로 무한정 토큰을 소비하는 폭주하는 에이전트 루프로 인해 단 며칠 또는 몇 달 만에 수억 달러의 비용을 발생시켰으며, 이는 강력한 비용 관리 솔루션의 시급한 필요성을 강조합니다.

AI 에이전트 비용을 효과적으로 관리하기 위해서는 몇 가지 첫 번째 원칙이 확립되어야 합니다. 첫째, 토큰은 비용과 가치의 근본적인 단위로 명확히 인식되어야 하며, 그 소비를 정량화하고 귀속시킬 수 있어야 합니다. 둘째, 비용 발생 지점, 특히 모델 호출 경계에서 정확하게 추적되어 리소스가 어디에서 활용되는지 정확히 파악해야 합니다. 특정 모델 호출을 시작한 에이전트 또는 실행을 알 수 있는 적절한 귀속 없이는 제어가 불가능합니다. 결과적으로 시스템은 예산을 초과했을 때 단순히 작업을 중단하는 것보다 정책 기반 개입을 우선시하여 보다 미묘하고 지속적인 관리를 가능하게 해야 합니다.

현재 모델 게이트웨이는 특정 기능에는 유용하지만, AI 에이전트 비용 관리에 필요한 세분화된 제어를 제공하는 데는 크게 미흡합니다. 대부분의 기존 프레임워크는 주로 모델 요청 수준에서 모니터링하며, 모델 라우팅 또는 엄격한 예산 제한과 같은 기능을 제공합니다. 그러나 비판적으로 필요한 것은 개별 실행 수준에서 소비를 모니터링하여 각 에이전트 실행의 정확한 비용 영향을 실시간으로 파악할 수 있는 시스템입니다. 이러한 실행 수준 모니터링은 세분화된 제어 및 효과적인 정책 적용에 필수적이며, 광범위하고 반응적인 조치를 넘어 선제적이고 정확한 관리로 나아갑니다.

경계 주석은 제어 평면이 AI 에이전트에게 직접 작업을 푸시할 수 있도록 하는 양방향 통신 채널 역할을 하여 중요한 기능을 수행합니다. 이 메커니즘은 일방적인 통신 스트림을 방지하여 사전 정의된 정책 또는 동적 조건에 따라 에이전트 동작을 실시간으로 조정할 수 있도록 합니다. 이러한 직접적인 상호 작용은 토큰 사용을 최적화하고 할당된 예산 범위 내에서 더 많은 에이전트 실행을 성공적으로 완료하여 효율성과 비용 효율성을 향상시키는 데 필수적입니다.

RAG(Retrieval-Augmented Generation) 도구가 불필요하게 20개의 정보 덩어리를 생성하는 예를 고려해 봅시다. 제어 평면은 이러한 동작을 관찰하고 비효율성을 인식하여 출력을 더 적절한 5개의 덩어리로 제한하도록 개입합니다. 이 동작은 경계 주석을 통해 전달되고 '거버너 노드'에 의해 실행되어 변경 사항이 비파괴적인 방식으로 적용되도록 합니다. 이러한 동적 조종은 과도한 토큰 소비를 방지하면서 에이전트 실행을 계속할 수 있도록 하여 리소스 사용을 효과적으로 최적화합니다.

제어 평면 내의 세그먼트 계층은 에이전트 실행을 귀속시키고 세분화된 수준에서 예산 제어를 적용하는 데 중요합니다. 이를 통해 'AIE 2026'과 같은 특정 태그 또는 차원을 기반으로 사용자 코호트를 생성하고 이러한 그룹에 개별 예산을 적용할 수 있습니다. 이 접근 방식은 유연한 롤업 기능을 제공하고 지출에 대한 세분화된 제어를 가능하게 하여 다양한 사용자 세그먼트 또는 프로젝트의 요구에 따라 리소스가 할당되고 관리되도록 합니다.

FinOps 솔루션은 AI 에이전트 동작을 보다 효과적으로 관리하기 위해 '중단(halt)' 및 '조종(steer)' 작업을 구분합니다. 중단 작업은 예산을 초과했을 때 에이전트 실행을 단순히 종료하는 반면, 조종 작업은 보다 진보된 접근 방식을 나타냅니다. 조종 작업을 통해 시스템은 에이전트 또는 그 구성 요소의 동작을 수정하기 위해 개입하여 전체 종료 없이 경고된 예산 내에서 실행을 유지하는 것을 목표로 합니다. 이 정책 계층은 예산과 작업을 지능적으로 그룹화하여 에이전트 작업에 대한 보다 미묘하고 지속적인 제어를 가능하게 합니다.

제어 로직의 구현은 아웃오브밴드 경계 주석을 통해 용이하게 이루어지며, 이는 개발자가 핵심 코드를 변경할 필요가 없음을 의미합니다. 대신, 관련 메서드에 주석을 적용하기만 하면 됩니다. 제어 평면은 사용자의 자체 테넌트 내에서 안전하게 작동하며, 거버너 인스턴스는 수행할 수 있는 특정 작업을 정의하도록 구성해야 합니다. 이 설계는 기존 코드베이스에 대한 중단을 최소화하면서 AI 에이전트 동작 및 지출에 대한 강력하고 중앙 집중식 제어를 제공합니다.

이 시스템의 기능은 간단한 두 에이전트 워크플로우를 사용하여 시연됩니다. 이 파이프라인은 검색 도구에 액세스할 수 있는 연구 에이전트와 최종 보고서 작성을 담당하는 요약 에이전트로 구성됩니다. 이 기본 설정은 정책 및 제어 메커니즘이 순차적 작업에서 다른 AI 에이전트 간의 상호 작용 및 토큰 소비를 관리하는 데 어떻게 적용될 수 있는지를 효과적으로 보여줍니다.

미리 보기 모드는 즉각적인 시행 없이 정책을 테스트하는 데 중요한 기능을 제공합니다. 이 모드에서는 모든 정의된 정책이 라이브 환경에서와 같이 실행되지만, 실제 시행 메커니즘은 비활성화됩니다. 이를 통해 사용자는 정책이 완전히 구현되기 전에 임계값을 효과적으로 보정하고 정책의 잠재적 영향을 관찰하여, 의도하지 않은 결과 없이 안전 장치가 최적화되고 라이브 배포를 위한 준비가 되었는지 확인할 수 있습니다.

AI 에이전트 제품을 운영 환경에 통합하려면 거버넌스에 대한 안전하고 체계적인 접근 방식이 필요합니다. 초기 배포를 위한 안전한 환경을 갖추는 것이 중요하며, 이를 통해 안전 장치에 대한 철저한 테스트와 미세 조정을 할 수 있습니다. 이러한 반복적인 조정 프로세스는 비용 임계값을 확정하기 전에 정책이 실제 시나리오에서 최적화되고 효과적인지 확인합니다. 이러한 신중한 미세 조정은 운영 에이전트가 정의된 재정적 및 운영적 경계 내에서 작동하도록 보장합니다.

FinOps 솔루션은 AI 에이전트 제어를 위한 '중단(halt)' 및 '조종(steer)' 방법론을 명확하게 구분합니다. '중단' 동작은 단순한 회로 차단기 역할을 하여 예산을 초과하면 에이전트 실행을 즉시 종료합니다. 이와 대조적으로 '조종' 동작은 예측 조정을 도입하여 할당된 예산 및 토큰 소비 속도에 따라 에이전트 동작을 동적으로 수정함으로써 실행을 활성 상태로 유지합니다. 이 조종 접근 방식은 조기 종료를 방지하고 전체 비용 관리 시나리오를 최적화하여 상당한 가치를 추가하는 것을 목표로 합니다.

동적 조종은 에이전트의 시스템 지시에 특정 지침을 직접 주입함으로써 달성됩니다. 이 지침은 에이전트에게 예산이 부족하다고 경고하고 더 간결하거나 요약된 출력을 생성하도록 지시하는 것만큼 간단할 수 있습니다. 이러한 방식으로 LLM의 출력 동작에 미묘하게 영향을 미침으로써 시스템은 조기 실행 종료를 효과적으로 방지하여 에이전트가 예산 제약을 준수하면서 작업을 완료할 수 있도록 합니다.

전체 정책 스위트가 활성화된 TokenOps의 벤치마킹 결과는 상당한 효율성 향상을 보여줍니다. AI 에이전트 워크플로우의 평균 지출은 거의 78% 감소했습니다. 또한, 에이전트 실행을 자주 중단시키는 단순한 스로틀링 방법과 비교하여 TokenOps는 완료율을 67%에서 약 96%로 크게 향상시켰습니다. 이러한 벤치마크는 browser-use 및 MetaGPT와 같은 오픈 소스 저장소에서 수행되었으며, 비용 절감과 운영 신뢰성 모두에서 솔루션의 효과에 대한 실증적 증거를 제공합니다.

현재 정책 카탈로그는 AI 에이전트의 다양한 일반적인 실패 모드에 대한 연구를 통해 세심하게 개발되었습니다. 여기에는 지출 관리, 컨텍스트 관리(예: 컨텍스트 압축 및 도구 출력 감소), 루프 감지 및 진행 감지를 포함한 여러 중요한 영역에 걸친 정책이 포함됩니다. 이러한 다양한 실패 모드를 해결하기 위해 시스템은 Allow, Mutate, Inject, Kill과 같은 다양한 조치 유형을 지원하여 AI 에이전트 동작을 관리하고 최적화하기 위한 포괄적인 도구 키트를 제공합니다.