Anthropic 엔지니어, 서비스 중단 방지를 위해 AI 에이전트에 예산 제한 제안

Anthropic의 Sachin Malhotra는 AI 에이전트 관리에 대한 패러다임 전환을 옹호하며, 단순한 토큰보다는 예산을 부여할 것을 제안합니다. AI 에이전트가 단순한 프로토타입을 넘어 실제 생산 환경으로 이동하고 그들의 행동이 중대한 결과를 초래할 수 있으므로 이러한 전환은 중요합니다.

Malhotra의 핵심 주장은 "에이전트에게 토큰이 아닌 예산을 부여하라"는 것입니다. 이러한 변화는 많은 시연에서 보이는 단순한 성공을 넘어, 에이전트가 실제 시스템에 배포될 때 발생하는 복잡성과 잠재적 위험을 해결하기 위한 것입니다.

많은 AI 에이전트 시연은 작은 웹사이트를 놀라운 속도로 구축하는 것과 같은 작업을 수행하는 능력을 보여주며, 종종 3초 안에 완료됩니다. 인상적이지만, 이러한 데모는 실제 생산 시나리오에 내재된 복잡성과 위험을 설명하지 못하는 경우가 많습니다.

Sachin Malhotra는 이러한 초기 시연 후에 진정한 도전이 시작된다고 강조합니다. 그는 "이 강연은 기본적으로 데모가 출시된 후, 에이전트가 생산 환경에서 실제 작업을 시작한 후에 일어나는 일에 대한 것입니다"라고 말합니다. 통제된 데모 환경에서 실제 생산 환경으로의 전환은 초기 시연에서는 분명하지 않은 수많은 잠재적 문제를 야기합니다.

실제 사고에서는 자체 사용되지 않는 워크로드를 정리하도록 설계된 AI 에이전트가 대규모 서비스 중단을 초래했습니다. 에이전트의 파이프라인 단계가 예기치 않게 아무것도 평가하지 않아 필터 메커니즘이 완전히 비활성화되었습니다.

이 오작동으로 인해 불과 90초 만에 약 200개의 워크로드가 삭제되었습니다. 이 치명적인 사건은 약 20명의 엔지니어에게 영향을 미쳐 체크포인트되지 않은 훈련 작업을 파괴하고 상당한 데이터 손실을 야기했습니다.

Sachin Malhotra는 이 사건에 대해 "약 200개의 워크로드를 없앴는데, 이는 약 20명의 엔지니어의 작업에 영향을 미쳤고, 이 모든 것이 90초 만에 사라졌습니다"라고 말했습니다. 이 경험은 충분한 감독 없이 자율 에이전트에 무제한 권한을 부여하는 것의 위험성을 강조했습니다.

에이전트는 발표자의 자체 토큰으로 작동하여 광범위한 권한을 부여받았습니다.

Sachin Malhotra는 "실패는 모델 자체에 있지 않았습니다. 실패는 제가 에이전트에게 제가 면밀히 관찰하지 않던 일을 할 수 있는 무제한의 권한을 주었다는 것입니다"라고 명확히 밝혔습니다. 이는 문제가 에이전트의 행동에 대한 신중한 모니터링 및 통제 부족에서 비롯되어, 에이전트가 감독 없이 파괴적인 작업을 수행하도록 허용했음을 강조합니다.

이는 치명적인 실패가 본질적으로 발생하기 어려운 환경을 조성하는 것을 포함합니다. Sachin Malhotra는 비유를 들어 "우리는 기본적으로 모든 엔지니어 또는 새로 온 직원이 키보드에서 모든 키 입력을 하는 것을 지켜보지 않습니다. 우리는 그들의 의자 뒤에서 그들이 하는 모든 것을 지켜보지 않습니다."라고 말했습니다.

모든 키 입력을 면밀히 조사하는 대신, 명확한 에스컬레이션 경로를 설정하고 에이전트가 고도로 파괴적인 행동을 자율적으로 실행하는 것을 방지하도록 운영 환경을 구성하는 전략을 사용해야 합니다. 이 접근 방식을 통해 에이전트는 정의된 경계 내에서 효과적으로 기능하면서 심각한 의도치 않은 결과의 위험을 최소화할 수 있습니다.

에이전트 토큰의 범위를 단순히 제한하는 것은 잠재적 오류를 관리하기 위한 지속 불가능하고 결함 있는 해결책입니다. 이러한 이진 권한은 정적 목록이므로 종종 너무 많은 권한을 부여하거나 필수 기능을 제거하여 에이전트를 쓸모없게 만듭니다. Sachin Malhotra는 "제가 틀렸다고 생각하는 토큰의 핵심 개념은 토큰이 부울이라는 것입니다. 그것은 단지 예 또는 아니오입니다. 그것은 정적 범위 목록입니다."라고 설명합니다.

이러한 이진 특성은 한 가지 유형의 오류를 방지하기 위해 권한을 제거하면 의도치 않게 중요한 작업을 비활성화하여 에이전트가 의도한 작업을 수행할 수 없게 만들 수 있음을 의미합니다. 토큰 기반 시스템의 세분성 부족은 에이전트 자율성의 효과적이고 확장 가능한 관리를 방해합니다.

이 프레임워크는 이진(예/아니오) 결정을 구조화된 제한으로 대체하여 에이전트 안전을 강화하는 데 중요합니다.

Sachin Malhotra는 이 예산의 네 가지 주요 차원을 설명합니다. 에이전트가 얼마나 많이 할 수 있는지(수량), 얼마나 빨리 작업을 수행할 수 있는지(속도), 스스로 어떤 작업을 취소할 수 있는지(자가 복구성), 그리고 작업을 수행할 때 누가 알림을 받는지(관찰 가능성)입니다. 그는 "예산은 단순히 하나의 숫자가 아닙니다. 네 가지 다른 차원을 가집니다. 에이전트가 얼마나 많이 할 수 있는가? 얼마나 빨리 할 수 있는가? 스스로 무엇을 취소할 수 있는가? 그리고 그 작업을 실제로 수행하는 동안 누가 알아차리는가?"라고 자세히 설명합니다. 이 포괄적인 예산 프레임워크는 AI 에이전트의 안전한 운영을 보장하기 위한 핵심 '우산' 역할을 합니다.

비대칭 동사는 작업 크기가 비슷해 보일지라도 작업 방향에 따라 잠재적 영향 또는 '폭발 반경'이 크게 다른 에이전트 작업을 의미합니다. 이 구분은 다양한 에이전트 행동과 관련된 위험을 이해하는 데 중요합니다. Sachin Malhotra는 "동일한 크기의 작업이라도 방향에 따라 실제로는 매우 다른 폭발 반경을 가질 수 있기 때문에 비대칭입니다"라고 설명합니다.

테스트 취소와 같은 '실패 시 큰 소리' 작업은 대시보드 및 모니터링 시스템을 통해 즉각적인 피드백을 제공하여 실패를 쉽게 감지할 수 있습니다. 반대로 테스트 건너뛰기와 같은 '실패 시 침묵' 작업은 장기간 감지되지 않는 생산 버그를 유발하여 발견되기 전에 상당한 피해를 입힐 수 있습니다.

'실패 시 침묵' 작업과 관련된 높은 위험으로 인해 적절한 감독을 보장하고 심각하고 감지되지 않는 결과를 방지하기 위해 인간의 개입이 자주 필요합니다.

에이전트는 시스템 안정성을 평가할 때 격리된 테스트를 다시 활성화하도록 프로그래밍되어 문제가 있는 테스트가 적절한 경우에만 다시 통합되도록 할 수 있습니다. Sachin Malhotra는 '건너뛰기' 작업의 중요한 특성을 강조하며 "건너뛰기는 그 자체가 비상용 동사입니다. 즉, 매우 위급한 상황이나 압박을 받는 상황에서 저희 온콜이 사용하는 것입니다. 따라서 에이전트가 이를 잘못 수행하면 실제 생산 버그, 실제 버그가 생산 환경에 유입될 수 있습니다. 따라서 이것은 인간의 개입이 필요하며 항상 감사 추적을 남길 것입니다."라고 말했습니다.

'건너뛰기' 작업에는 엄격하게 인간의 개입이 필요하며, 직접적인 인간의 승인이 필요한 '비상용' 이벤트로 취급됩니다. 또한, 에이전트가 자체 출처를 유지하지 않도록 중간 프록시가 사용됩니다. 대신 호출자의 ID가 모든 작업에 스탬프되어 명확한 책임과 모든 에이전트 활동의 감사 가능한 기록을 유지합니다.

속도 제한을 구현하는 것은 실용적인 예산 메커니즘 역할을 하며, 지정된 시간 창 동안 보충되는 파괴적인 작업에 대한 구체적인 상한선을 제공합니다. 이 접근 방식은 모든 작업에 대한 사전 승인 없이 에이전트에게 정의된 한계 내에서 자율성을 부여합니다. Sachin Malhotra는 "따라서 모든 호출자는 시간 창당 소량의 파괴적인 작업을 수행할 수 있습니다. 원하는 대로 사용할 수 있습니다. 승인도, 대기도 없습니다. 그리고 선을 넘으면 요청은 단순히 예산을 초과하고 있다는 카운트와 함께 반환됩니다."라고 설명합니다.

에이전트가 할당된 속도 제한을 초과하면 요청은 예산이 초과되었음을 명확히 표시하며 자동으로 거부됩니다. 이러한 제한은 에이전트가 상호 작용하는 특정 네임스페이스 또는 리소스 유형의 민감도에 따라 동적으로 조정될 수 있어 에이전트 행동에 대한 유연하고 상황 인식적인 제어를 허용합니다.

이러한 웹훅은 에이전트가 시간당 수행할 수 있는 삭제 횟수, 특정 리소스 유형 및 네임스페이스를 제한하도록 구성하여 파괴적인 작업에 대한 엄격한 경계를 설정할 수 있습니다.

중요하게도, 일반적으로 비상용으로 사용되는 '우회' 플래그는 에이전트 세션에서는 비활성화됩니다. 이는 에이전트가 실수로 안전 메커니즘을 무시하고 대규모 삭제를 자율적으로 수행하는 것을 방지합니다. Sachin Malhotra는 "클라우드 코드 세션 또는 에이전트 세션 내에서 효과적으로 우회 플래그는 단순히 아무것도 하지 않습니다. 에이전트에게 인간에게 명령을 직접 실행하도록 요청하도록 지시할 뿐입니다. 따라서 에이전트는 효과적으로 속도 제한을 받고 인간은 재정의 권한을 유지합니다."라고 명확히 밝힙니다.

에이전트가 정의된 삭제 제한에 도달하면 작업을 중단하고 인간 운영자에게 수동으로 명령을 실행하도록 프롬프트를 표시하도록 설계됩니다. 이 메커니즘은 설정된 안전 임계값을 초과하는 작업에 대해 인간의 감독이 필요하도록 보장하여 '재정의' 기능을 효과적으로 인간의 통제로 되돌립니다.