비결정론적 AI를 위한 결정론적 인프라 구축

Nishant Gupta에 따르면, 모든 프로덕션 아키텍처는 견뎌내도록 설계된 사고에 의해 주도되어야 합니다. 그는 실패를 예측하고 계획하는 것이 반응적인 조치가 아니라 탄력적인 시스템을 구축하기 위한 기본적인 원칙이라고 주장합니다.

Gupta는 이러한 식별된 실패 모드가 신뢰할 수 있는 에이전트 시스템을 개발하는 중요한 출발점 역할을 한다고 강조합니다. 이 접근 방식은 인프라가 AI 에이전트의 예측 불가능한 행동에 본질적으로 견고하도록 보장합니다.

Nishant Gupta는 이러한 사전 예방적 설계 전략이 LLM의 현재 한계를 인정한다고 강조했습니다.

Gupta는 모델이 때때로 틀리고 때로는 과신할 것이라고 지적합니다. 그는 이러한 이해를 바탕으로 인프라를 설계하면 예상치 못한 모델 동작으로 인한 시스템 장애를 방지할 수 있다고 제안합니다.

Nishant Gupta는 이러한 변화가 프로덕션 시스템에서 AI의 역할을 근본적으로 바꾼다고 설명했습니다.

그는 과거에는 모델이 단순히 텍스트를 반환했고 인간이 후속 결정을 내렸다고 설명했습니다. 이제 에이전트 시스템은 모델이 도구를 선택하고 작업을 직접 실행할 수 있도록 지원합니다. 이러한 향상된 기능은 실패가 핵심 인프라에 영향을 미치고 고객 상태를 변경할 수 있음을 의미하며, 이는 더욱 견고한 제어 메커니즘을 필요로 합니다.

주요 엔지니어링 목표는 AI 모델의 내재된 비결정성을 수정하는 것이 아니라, 이를 결정론적 실행 환경 내에 포함시키는 것입니다. Nishant Gupta는 이 접근 방식이 프로덕션 환경에서 확률론적 모델의 안정적인 작동을 가능하게 한다고 강조했습니다.

그는 엔지니어가 이 환경 내에서 에이전트 동작의 모든 측면(신념, 행동, 스키마 및 정책 포함)을 감사할 수 있어야 한다고 명시했습니다. 이러한 감사 기능은 기본 확률론적 특성에도 불구하고 에이전트 작업에 대한 투명성과 제어를 보장합니다.

모든 에이전트 작업은 유형화된 요청으로 재구성될 수 있어야 하며, 명확한 이해와 디버깅을 가능하게 해야 합니다. Nishant Gupta는 이 요구 사항이 에이전트의 운영 기록에 대한 완전한 추적 가능성을 보장한다고 말합니다.

이러한 재구성 가능성은 모든 정책 결정, 도구 결과 및 상태 전환에 대한 세심한 추적을 필요로 합니다. 이러한 요소를 캡처함으로써 엔지니어는 모든 작업을 재생하고 분석하여 시스템 동작 및 잠재적 실패 지점에 대한 중요한 통찰력을 제공할 수 있습니다.

기존 소프트웨어와 대규모 언어 모델의 통합은 새로운 복합적 실패 모드를 도입하여 시스템 복잡성을 증가시킵니다. Nishant Gupta는 AI 에이전트의 내재된 예측 불가능성으로 인해 잘못된 행동, 재시도 폭주, 비용 급증, 조용한 성공과 같은 일반적인 문제가 이제 복합적으로 발생할 수 있다고 지적합니다.

에이전트의 모호한 계획 및 자율적인 도구 선택은 이러한 위험을 크게 증폭시켜 사고 관리를 더욱 어렵게 만듭니다. 그는 재시도가 무한하고 권한이 광범위하면 모호한 실패조차도 연쇄적인 사고로 확대되어 조직에 심각한 영향을 미칠 수 있다고 경고합니다.

Nishant Gupta는 엔지니어가 견고한 시스템을 설계할 때 더 넓은 범위의 요소를 고려해야 한다고 명확히 했습니다.

프롬프트 컨텍스트, 외부 도구 호출 및 동시 실행은 에이전트 동작에 가변성을 도입합니다. 이러한 요소는 에이전트가 겉보기에는 동일한 입력이 제공되더라도 다른 출력을 생성하거나 다른 작업을 수행하도록 할 수 있습니다.

또한, 컨텍스트 창이 용량에 가까워질 때의 상태 압축 및 인간 피드백은 비결정론적 결과에 더욱 기여합니다. 이러한 다양한 원인을 인식하는 것은 AI 에이전트를 안정적으로 관리할 수 있는 인프라를 개발하는 데 중요합니다.

Nishant Gupta는 이러한 테스트가 프로덕션 환경에 대한 에이전트 준비 상태의 기준이 되어야 한다고 명령합니다.

그는 에이전트가 적대적인 도구 사용 시나리오에 대해서도 테스트를 거쳐야 하며, 철저한 롤백 에스컬레이션 훈련을 받아야 한다고 덧붙입니다. 이러한 추가 테스트 단계는 에이전트가 예상치 못한 또는 악의적인 상호 작용을 처리할 수 있으며, 복구 절차가 배포 전에 잘 연습되었음을 보장합니다.

지연 시간, 오류 및 로그와 같은 기존 관찰 가능성 지표는 복잡한 AI 에이전트 동작을 이해하기에 불충분합니다. Nishant Gupta는 에이전트 관찰 가능성이 에이전트의 내부 추론에 대한 더 깊은 통찰력을 제공하는 의미론적 추적으로 이러한 표준 지표를 보강해야 한다고 설명했습니다.

의미론적 추적은 에이전트가 작업을 어떻게 해석하고, 계획을 세우고, 도구를 선택하고, 결과를 어떻게 인식했는지 밝히는 데 중요합니다. 이 상세한 이해를 통해 사고 대시보드는 실패가 컨텍스트 해석, 추론, 도구 동작 또는 인간 상호 작용 지연 문제에서 비롯되었는지 정확하게 파악하여 인프라와 모델 간의 오류 오귀인을 방지할 수 있습니다.

높은 비용 또는 과도한 토큰 사용은 에이전트 작동에 잠재적인 문제가 있음을 나타내는 안전 신호로 취급되어야 합니다. Nishant Gupta는 에이전트가 지속적으로 루프를 돌거나, 확산되거나, 컨텍스트를 확장하는 경우 혼란스럽거나, 갇혔거나, 의도된 워크플로우를 벗어나 작동할 수 있다고 강조했습니다.

그는 폭주 동작을 방지하기 위해 토큰 예산, 단계 제한 및 실제 시간 제약과 같은 실용적인 제어를 옹호합니다. 이러한 예산이 소진되면 에이전트는 추가적인 자율적 추론을 시도하기보다는 현재 상태를 요약하고 인간 운영자에게 에스컬레이션하도록 설계되어야 하며, 이를 통해 잠재적인 사고를 완화하고 운영 비용을 제어할 수 있습니다.

안정적인 에이전트 인프라는 모델이 광범위한 프로덕션 자격 증명을 직접 보유하지 않도록 보장하여 보안을 강화합니다. Nishant Gupta는 플래너가 제한된 단계를 제안하고, 검증자가 설정된 스키마 및 정책에 대해 이를 확인하는 아키텍처를 설명했습니다.

그는 도구 브로커가 모델의 액세스를 특정 작업에 필요한 것으로만 제한하는 범위 지정 자격 증명을 생성하는 역할을 한다고 덧붙였습니다. 또한, 모든 단계는 추가 전용 추적에 기록되어 재생 가능성과 감사 가능성을 보장하며, 오케스트레이션 상태, 재시도 논리 및 검증 기능은 결정론적 서비스가 소유하여 모델의 확률론적 특성과 독립적으로 신뢰성을 보장합니다.

비결정론적 시스템은 종종 모델 출력을 명령으로 직접 실행하여 내재된 위험을 초래합니다. Nishant Gupta는 결정론적 시스템은 각 모델 응답을 실행 전에 유효성 검사 및 승인을 거치는 제안으로 취급한다고 주장합니다.

그는 검증자, 정책 엔진, 승인 게이트, 멱등 실행기 및 검증기와 같은 구성 요소가 잠재적 실패의 폭발 반경을 줄이는 데 각자의 역할을 한다고 자세히 설명했습니다. 이러한 계층화된 실행 패브릭은 기본 AI 모델이 비결정론적일 때도 안전 결과를 크게 향상시킵니다.

Nishant Gupta는 에이전트의 자율성을 발전시키는 것이 제안에서 시작하여 초안, 드라이 런, 승인 게이트를 거쳐 원자적 실행에 이르기까지 구조화된 경로를 따라야 한다고 강조했습니다.

그는 이러한 단계 간의 승격이 성공적인 롤백 및 완전한 감사 추적과 같은 객관적인 기준에 의존해야 한다고 설명했습니다. Gupta는 에이전트를 기본적인 챗봇 기능에서 자율적인 프로덕션 운영자로 직접 전환하는 것에 반대하며, 위험을 효과적으로 완화하기 위한 신중하고 점진적인 발전의 필요성을 강조합니다.

Nishant Gupta는 비결정론적 추론 주변에 결정론적 인터페이스를 설계하는 것이 에이전트를 실제 응용 프로그램에서 유용하게 만드는 데 중요한 기술이라고 주장했습니다.

그는 에이전트에게 계획에 있어서는 창의적인 자유를 부여해야 하지만, 프로덕션 시스템을 직접 제어하는 데 있어서는 결코 그러지 않아야 한다고 명확히 했습니다. 이 원칙은 AI가 전략적 사고에서 혁신할 수 있지만, 그 행동은 항상 신뢰할 수 있고 결정론적인 인프라에 의해 제약되고 검증되어 운영을 보호하도록 보장합니다.