AI 에이전트 작업 부하의 정의되지 않은 클라우드 비용

클라우드 인프라는 새로운 요청 비용을 실행 시작 전에 추정하고 이해할 수 있다는 핵심 가정에 따라 작동합니다. 이러한 예측 가능성은 시스템이 타임아웃을 할당하고, 용량 요구 사항을 예측하고, 속도 제한을 구현하고, 청구 모델을 구축하는 방식의 기반입니다. 그러나 에이전트 작업 부하는 실행 중에 자율적으로 작업 경로를 결정하므로 사전 추정이 불가능하여 본질적으로 이 가정과 일치하지 않습니다.

클라우드 인프라 설계는 요청이 도착하는 순간, 요청을 정의하는 코드가 완전히 알려져 있다는 전제에 의존합니다. 에이전트 작업 부하는 툴 호출 실행이나 재시도 시작과 같이 런타임 중에 동적인 결정을 내림으로써 이와 근본적으로 모순됩니다. 결과적으로 에이전트 활동과 관련된 실제 비용은 전체 프로세스가 완료된 후에야 확정되므로 초기 비용 추정이 불가능해지고 전통적인 클라우드 비용 구조를 약화시킵니다.

로드 밸런서와 청구 시스템은 일반적으로 단일 프롬프트 또는 HTTP 호출을 하나의 개별 요청으로 등록합니다. 그러나 런타임 내에서 에이전트의 실행은 자율적인 결정과 작업의 복잡한 시퀀스로 크게 분산됩니다. 이러한 불일치는 시스템이 하나의 초기 요청에 대해 요금을 청구하는 반면, 실제 리소스 소비는 단순한 초기 입력이 아닌 예측 불가능한 내부 툴 호출 및 동적 프로세스 체인에 의해 결정된다는 것을 의미합니다.

클라우드 인프라가 요청을 수락하는 순간, 동시에 네 가지 중요한 약속을 합니다. 여기에는 타임아웃 할당, 작업자 풀에 슬롯 할당, 청구 기록 생성, 속도 제한 버킷 감소가 포함됩니다. 이러한 모든 작업은 동적인 에이전트 주도 결정이 발생하기 전, 시스템이 요청을 수락하는 정확한 순간의 이해에 전적으로 기반합니다.

더 스마트한 시스템이 참조할 수 있는 기존 값이나 지표가 없습니다. 정확한 작업 부하가 아직 결정되지 않았기 때문입니다. 이는 실행 중에만 전개됩니다. 이러한 본질적인 '알 수 없는' 상태는 전통적인 모니터링 및 청구 시스템이 초기 비용 가정이 잘못되었을 때 이를 자주 플래그하지 못하게 하여 숨겨진 비효율성과 초과 비용으로 이어집니다.

발표자는 에이전트에게 "사고를 조사하고, 원인을 찾아 안전하게 수정하고, 미리 보기를 배포하고, 결과를 확인하십시오"라는 다섯 가지 개별 지침으로 구성된 다단계 지침을 제시했습니다. 에이전트가 수행할 단계 수를 추정해 달라고 요청했을 때, 청중의 추측은 20에서 100 이상까지 다양했습니다. 이 실험은 겉보기에는 간단한 프롬프트가 실제 에이전트 배포에서 얼마나 광범위하게 다양한 실행 경로와 리소스 소비로 이어질 수 있는지를 보여주었습니다.

패치 및 재검증과 같은 추가 단계를 요구하는 중단된 경로는 에이전트 로직의 성공적인 실행임에도 불구하고 리소스 소비 증가를 초래합니다. 노드 수만으로는 비용에 대한 오해의 소지가 있는 지표가 될 수 있습니다. 이후 단계에서 더 많은 컨텍스트가 축적되고 전체 스위트 재실행과 같이 리소스 집약적인 작업이 포함되는 경우가 많기 때문입니다. 따라서 각 결정이 모든 이전 정보를 기반으로 구축되므로 비용은 단순한 노드 수보다 빠르게 증가합니다.

대신, 에이전트가 내리는 모든 결정이 이전의 모든 단계를 기반으로 구축됨에 따라 누적된 컨텍스트가 지속적으로 증가하여 비용이 기하급수적으로 증가합니다. 이러한 동적인 특성으로 인해 리소스 소비 패턴이 선형적으로 확장되지 않아 기존 프레임워크 내에서 예측하거나 관리하기 어렵습니다.

'요청' 개념은 에이전트 작업 부하의 가격 책정 및 제한에 모두 부적합한 단위입니다. 이는 주로 비용이 시작 시점에 알려질 수 있다는 가정에 의존하기 때문입니다. 에이전트와 마찬가지로 실행 경로를 예측할 수 없을 때, 요청 기반의 전통적인 제한 및 예산 책정은 필연적으로 실패합니다. 이는 에이전트가 의도한 기능을 수행했음에도 불구하고 초기, 알 수 없는 비용이 사전 정의된 요청 예산을 초과하여 프로세스가 조기에 중단되는 '허위 실패'로 이어지는 경우가 많습니다.

이 '실행'은 단일의 즉각적인 요청에 묶이지 않고 실행 기간 내내 상태를 유지하는 완전한 작업 본문을 포괄합니다. 이 모델은 토큰, 금액, 실제 시간 등에 대한 상한을 미리 설정할 수 있도록 지원하여 비용 관리를 위한 더 명확하고 예측 가능한 프레임워크를 제공합니다.

이러한 과제는 다음과 같습니다. 기존 작업과 그 흐름을 정의하는 실행 그래프 관리, 즉시 실행될 수 있는 컴퓨팅 리소스 최적화, 지속적인 작업을 위한 환경 및 컨텍스트의 안정성과 안전성 보장. 각 영역은 에이전트 실행을 효과적으로 지원하기 위한 전용 솔루션을 요구합니다.

깔끔한 종형 곡선을 따를 수 있는 예측 가능한 프로세스와 달리, 에이전트의 분기 결정 프로세스는 복합적이고 예측 불가능한 비용을 생성합니다. 결과적으로 평균 비용을 위한 프로비저닝은 지속적인 큐잉과 성능 병목 현상으로 이어지며, 최악의 시나리오를 위한 과도한 프로비저닝은 상당한 유휴 비용을 초래합니다.

개발자는 사용된 토큰, 수행된 도구 호출, 기간, 실행당 비용과 같은 지표를 플로팅하고, 특히 P95 및 P99 백분위수를 분석해야 합니다. 이 분석은 단순한 평균 기반 예측이 가리고 있는 현재 용량 계획의 변동성 및 격차의 실제 범위를 드러내어 보다 견고한 리소스 할당을 가능하게 합니다.

모델 공급자 성능 저하는 눈에 띄지 않는 상당한 위험을 초래합니다. 명확한 오류 메시지 없이 종속 체인의 작업 실행을 중단시킬 수 있기 때문입니다. 이러한 유형의 '보이지 않는 실패'는 특히 비용이 많이 듭니다. 기본 종속성이 차단되거나 성능이 저하될 때 더 많은 작업자 또는 컴퓨팅 리소스를 추가하는 것이 비효과적이기 때문입니다. 가시적인 오류 상태가 부족하면 진단 및 해결이 어려워져 장기간의 중단과 비용 증가로 이어집니다. 발표자는 이러한 실패가 발생하면 그 파악하기 어려운 특성 때문에 가장 비싼 종류라고 강조합니다.

워크플로는 에이전트 프로세스의 그래프 상태, 동적 컴퓨팅 할당, 복구 메커니즘을 포함한 실행 순서를 관리하도록 설계되었습니다. 반면에 샌드박스는 환경 격리, 파일 시스템, 도구 액세스, 수명 주기 관리를 처리합니다. 이러한 기본 요소는 에이전트를 위한 세 가지 핵심 인프라 문제 중 두 가지를 해결하며, 세 번째 문제는 개발자들에게 지속적인 과제로 남아 있습니다.

Render는 1,000명 이상의 회원을 보유한 Discord 커뮤니티를 통해 에이전트 인프라 문제에 대한 솔루션을 탐색하는 개발자들을 적극적으로 지원합니다. 발표자는 시청자들에게 커뮤니티에 참여하여 내구성 있는 워크플로를 활용하는 방법을 토론하고 배우도록 권장합니다. 또한, 새로운 Render 배포를 위한 50달러 크레딧을 제공하는 QR 코드 링크가 제공되어 개발자들이 이러한 솔루션을 더 쉽게 실험할 수 있습니다.

사회자는 에이전트가 루프에서 작동할 때 비용 최적화에 충분한 관심이 기울여지지 않았다고 강조했습니다. 에이전트 루프와 관련된 일반적인 문제로는 무한 루프 위험, 중요한 컨텍스트 손실 가능성, 오래된 상태 처리의 어려움 등이 있습니다. 내구성 있는 워크플로는 이러한 운영 문제에 대한 중요한 솔루션으로 강조되며, 에이전트 실행을 효과적으로 관리하고 통제되지 않은 비용 증가를 방지하기 위한 강력한 메커니즘을 제공합니다.

에이전트 AI 워크플로에 대한 유효성 검사 전략은 특정 워크플로 및 원하는 결과에 따라 크게 달라집니다. 이 분야의 기능으로 견고한 TypeScript SDK를 갖춘 오픈 소스 프레임워크인 Mastra가 권장됩니다. 워크플로 성공을 보장하기 위한 필수 구성 요소에는 백그라운드 작업 사용, 포괄적인 재시도 메커니즘, 효율적인 큐잉 시스템이 포함됩니다. 내구성 있는 워크플로는 특히 복잡하고 예측 불가능한 에이전트 환경에서 실행 안정성을 보장하는 데 중요하다고 강조됩니다.