AI 에이전트, 분산 시스템으로 진화

AI 에이전트는 더 이상 텍스트 처리에만 국한되지 않습니다. 기본적인 텍스트 입력/출력 작업을 넘어 작업을 생성하고 응답하는 상호작용 시스템으로 진화했습니다. 이러한 전환은 AI 에이전트가 외부 시스템과 상호작용할 때 직면하는 문제가 단순한 모델 문제에서 복잡한 분산 시스템 문제로 고조된다는 것을 의미합니다. 따라서 AI 에이전트의 설계 및 구축에 분산 시스템 사고와 개념을 통합하는 것이 필수적입니다.

"분산 시스템으로 변모했으며 AI 에이전트를 구축할 때 분산 시스템 사고와 개념을 통합하는 것이 중요합니다."

AI 에이전트와 관련된 실제 사건들은 개발에 있어 건전한 시스템 사고의 중요성을 강조합니다. 예를 들어, Replit AI 인스턴스가 무단 권한으로 인해 프로덕션 데이터베이스를 삭제한 사건이나, Air Canada 챗봇이 진실을 검증할 메커니즘이 없어 잘못된 환불을 제공한 사건이 있습니다. 이러한 사건들은 설계 단계에서 견고한 분산 시스템 원칙을 적용했더라면 많은 실패를 방지할 수 있었음을 보여줍니다.

"이러한 사건들 또는 많은 사건들이 AI 에이전트를 구축할 때 좋은 시스템 사고방식을 통해 예방될 수 있었습니다."

AI 시스템의 아키텍처 경계는 LLM(대규모 언어 모델) 자체의 한계를 넘어 크게 확장되었습니다. AI 에이전트는 이제 도구를 사용하고 외부 상태를 변경함으로써 외부 세계에 실질적인 부작용을 일으킬 수 있습니다. 이러한 새로운 기능은 설계자가 이러한 시스템 내에서 자격 증명, 외부 상태 및 작업 경계를 관리하는 방법을 신중하게 고려해야 함을 요구합니다.

"차이점은 이제 외부 세계에 부작용을 일으킬 수 있다는 것입니다."

기존 소프트웨어 시스템은 일반적으로 결정론적이고 정확하게 매핑된 워크플로에 의존하며, 결과는 예측 가능합니다. 반대로 AI 에이전트는 확률적 조정자 역할을 합니다. 즉, AI 에이전트가 취할 수 있는 작업 유형과 순서가 크게 달라 비선형적이고 덜 예측 가능한 동작으로 이어집니다. 따라서 AI 에이전트의 잠재적으로 예측 불가능한 작업을 제어하고 안정적인 작동을 보장하기 위해 결정론적 제어를 통합하는 것이 중요합니다.

"AI 에이전트의 경우 AI는 확률적 조정자 역할을 합니다. AI가 취할 수 있는 작업의 양과 종류는 상당히 다를 수 있습니다."

AI 에이전트 작동의 핵심은 계획, 행동, 결과 관찰, 데이터 영구 저장 및 의사 결정의 연속적인 루프를 포함합니다. 이 루프의 각 단계는 잘못된 데이터 영구 저장, 바람직하지 않은 작업 수행 또는 유해한 재시도 폭풍 시작 가능성을 포함하여 뚜렷한 시스템 위험을 제시합니다. 결과적으로 이러한 위험을 완화하고 안정적인 작동을 보장하기 위해 이 에이전트 루프 내의 모든 경계를 엄격하게 관리해야 합니다.

"잘못된 데이터를 유지할 수 있으며, 결정할 때 잘못된 작업을 수행하기로 결정할 수도 있고, 더 나쁘게는 재시도 폭풍을 일으킬 수도 있습니다."

각 단계에서 상태를 기록함으로써 에이전트는 작업이 실패한 지점을 인식하고 되돌릴 수 있는 작업 또는 보상을 수행할 수 있습니다. 이 기능은 부분적인 실패를 관리하고 전체 시스템 무결성을 유지하는 데 필수적입니다.

명시적 트랜잭션은 다단계 프로세스, 특히 에이전트가 외부 상태를 수정하는 작업을 수행할 때 일관성을 유지하는 데 필수적입니다. 에이전트가 시간 초과를 경험하면 반드시 실패를 의미하는 것이 아니라 알 수 없는 상태를 의미하므로, 실제 결과를 확인하기 위해 요청 ID, 멱등성 키 및 상태 쿼리를 사용해야 합니다. 재시도 예산, 최대 턴 수 및 지수 백오프와 같은 전략을 구현하는 것은 다운스트림 시스템을 압도할 수 있는 재시도 폭풍을 방지하고 연쇄적인 실패를 일으키지 않고 재시도가 효율적으로 관리되도록 하는 데 중요합니다.

또한 AI 에이전트에서 메모리를 처리하는 것은 에이전트 동작에 영향을 미치는 모든 컨텍스트가 사실상 에이전트 상태의 일부임을 인식하는 것을 포함합니다. 이는 메모리를 무효화 및 명확한 출처 추적을 지원하는 캐시로 취급해야 함을 의미합니다. 신뢰성을 높이기 위해 회로 차단기, 보상 작업, 범위가 지정된 자격 증명 및 특정 작업에 대한 사람의 승인 워크플로와 같은 메커니즘은 필수적이며, AI 에이전트를 보다 견고하고 책임감 있는 분산 시스템으로 변환합니다.

"무언가 실패하더라도 에이전트가 실패한 지점을 인식하고 되돌릴 수 있는 작업을 수행할 수 있도록 이를 영구적으로 저장하는 것이 중요합니다."

이 조치는 특히 시스템이 비정상적이거나 포화 상태일 경우 에이전트가 이러한 시스템을 압도하거나 "소진"시키지 않도록 보장합니다.

"다운스트림 시스템을 태우지 않도록 외부 호출을 할 때마다 회로 차단기를 사용하는 것이 중요합니다."

AI 에이전트에 비율 제한과 예산을 할당하는 것은 특히 무한 재시도 루프나 통제되지 않은 작업을 통해 과도한 비용이 발생하는 것을 방지하는 데 필수적입니다. 주요 제약 조건에는 최대 턴 수 설정, 병렬 호출 제한 및 최대 지출 예산 설정이 포함됩니다. 이러한 조치는 운영 효율성과 재정 통제를 유지하는 데 중요합니다.

"속도 제한과 예산을 할당하는 것도 중요합니다. 에이전트에게 적절한 예산과 속도 제한이 할당되지 않으면 비용이 초과될 수 있습니다."

AI 에이전트에 광범위한 권한을 부여하는 것은 심각한 보안 위험을 초래할 수 있으므로 피해야 합니다. 대신 에이전트에는 액세스를 제한하기 위해 별도의 읽기 및 쓰기 권한이 있는 범위가 지정된 자격 증명을 부여해야 합니다. 또한 에이전트가 호출할 수 있는 도구에 대한 허용 목록을 구현하면 겉보기에는 무해해 보이는 모델에서조차 해를 끼칠 가능성을 최소화할 수 있습니다.

"범위가 지정된 자격 증명을 부여하는 것이 중요합니다. 별도의 읽기 및 쓰기 권한이 있어야 하며, 에이전트가 호출할 수 있는 도구에 대한 허용 목록이 있어야 합니다."

승인은 작업 자체, 타임스탬프, 행위자 및 만료와 연결되어야 합니다. 이러한 정확한 연결은 환불과 같은 작은 승인된 작업이 더 크고 승인되지 않은 작업으로 확대되는 것을 방지합니다.

"사람의 승인은 포괄적인 승인에 묶여서는 안 됩니다. 작업, 타임스탬프, 행위자 및 만료에 묶여야 합니다."

AI 에이전트의 경우 효과적인 디버깅 및 실패 이해를 위해 표준 로그만으로는 불충분합니다. 포괄적인 관측 가능성이 가장 중요하며, 팀은 에이전트 실패의 전체 컨텍스트(무슨 일이 일어났는지, 어떤 정보에 반응하고 있었는지, 왜 실패했는지)를 재구성해야 합니다. 여기에는 프롬프트 및 응답뿐만 아니라 도구 호출, 검색된 컨텍스트 및 승인 상태를 추적하는 것도 포함됩니다.

"AI 에이전트를 구축할 때 관측 가능성은 중요한 요구 사항입니다. 왜냐하면 로그만으로는 충분하지 않기 때문입니다. 팀은 에이전트가 실패했을 때, 무슨 일이 일어났는지, 어떤 정보에 반응하고 있었는지, 왜 실패했는지를 재구성해야 합니다."

모델 지능만으로는 네트워크 오류, 오래된 데이터 또는 적대적 입력과 같은 일반적인 분산 시스템 문제를 제거할 수 없습니다. 따라서 에이전트 작업을 제한하고, 동작을 관찰하며, 복구 메커니즘을 설정하는 데 계속 초점을 맞춰야 합니다.

"네, 모델 기능이 중요하고 좋은 모델을 갖는 것이 올바른 작업을 수행할 가능성을 높인다는 생각으로 마무리하고 싶습니다... 하지만 네트워크 오류, 오래된 데이터 또는 적대적 입력을 제거할 수는 없습니다."

이러한 계약은 에이전트가 제공된 권한 범위 내에서만 작업을 수행할 수 있도록 보장합니다. 또한 모든 도구는 멱등성을 통합해야 하며, 이는 반복된 요청이 동일한 결과를 생성하고 위험한 부작용을 방지하도록 보장합니다.

"제공된 계약에 따라 허용된 작업만 수행할 수 있도록 도구 계약을 마련하는 것이 중요합니다... 그리고 이 모든 도구에는 멱등성이 내장되어 있습니다."