기업 기술 스택이 AI 에이전트를 위한 준비가 되지 않은 이유: 보안, 규정 준수 및 감사 추적 다루기

Anthropic의 기술 스태프인 Christopher Lovejoy는 기업 조직과 통합하여 AI 에이전트를 활용할 수 있도록 돕는 배포 엔지니어입니다. 이전에는 미국 건강 보험 회사에 AI를 공급하는 뉴욕 기반 회사인 Anterior의 엔지니어링 부사장인 Saul Howard와 협력했습니다. 두 사람 모두 기업, 특히 매우 도전적이고 규제된 의료 부문에서 AI 솔루션을 구축하고 배포한 광범위한 경험을 가지고 있습니다.

연사들은 헬스케어 기업에서 얻은 교훈이 사람들의 삶에 미치는 중대한 영향과 엄격한 규제 요건 때문에 다른 규제 산업으로 이전될 수 있다고 강조했습니다. 여기에는 프로세스 준수가 중요한 금융, 국방 및 정부 업무가 포함됩니다. 이 발표는 현재 기업 기술 스택이 AI 에이전트에 부적합한 이유에 대한 통찰력을 공유하고, 헬스케어 워크플로를 주요 사용 사례로 사용하여 이러한 단점을 해결하기 위한 아키텍처 원칙을 소개하는 것을 목표로 합니다.

기업의 일반적인 AI 프로젝트는 행정적 헬스케어 워크플로와 같은 고객과 우선 순위 사용 사례를 식별하는 것으로 시작됩니다. 여기에는 개념 증명(POC)의 범위 지정, 벤치마킹을 위한 주요 지표 정의, 일반적으로 약 4주에 걸친 구축을 위한 엔지니어 할당이 포함됩니다. 기업 기술 스택은 복잡하지만 일반적으로 애플리케이션 계층, 제어 평면 및 데이터 평면을 포함하며, POC는 이들 모두에 액세스해야 합니다. POC 솔루션은 오프라인 데이터 가져오기 및 온라인 액세스를 포함한 다양한 데이터 소스에 연결하여 기능을 시연합니다.

성공적인 POC 후, 이해관계자들은 일반적으로 긍정적으로 반응하며, 재무 책임자는 예산 영향을 이해하기를 열망하고, 의료 책임자는 AI 정확도를 강조하며, 영업 책임자는 'AI 기반' 기능을 홍보하고 싶어합니다. 그러나 이러한 초기 열정은 종종 AI를 생산 환경으로 옮기는 데 따르는 중대한 과제를 간과합니다. 가장 어려운 부분인 AI 자체는 완료되었다는 가정은 흔한 함정입니다. 규정 준수를 위한 감사 추적이나 민감한 데이터 처리 방법에 대해 생산화를 논의할 때 진정한 어려움이 드러납니다.

대화가 생산 환경으로 전환되면서 감사 추적 및 데이터 통합에 대한 중요한 질문이 제기되며, 이는 기존 시스템에 종종 어려운 문제입니다. 이해관계자들은 또한 민감한 데이터 처리에 대한 우려를 제기하며, 에이전트에게 어떻게 전달되는지, 엄격한 데이터 경계가 존중되는지, 시스템이 데이터 프라이버시를 어떻게 보장하는지에 대해 질문합니다. 최고 의료 책임자는 특히 임상 의사의 개입이 필요한 시나리오에서 AI 결정에 대한 승인 프로세스에 대해 종종 문의합니다. 또한 신뢰할 수 없는 데이터에 의한 모델 조작, 지속적인 성능 검증, Epic 및 Salesforce와 같은 기존 기업 시스템과의 통합에 대한 질문이 제기됩니다. 이 발표는 감사 추적, 데이터 처리 및 에스컬레이션 문제에 중점을 둡니다.

보안 팀은 감사 추적을 요구하는데, 이는 프로그래머들에게는 Data Dog과 같은 도구에서 발견되는 표준 개발자 로그처럼 들립니다. 그러나 Sock 2, High Trust 및 HIPAA와 같은 기업 보안 프레임워크에서 감사 추적은 훨씬 더 포괄적입니다. 시스템의 모든 이벤트에 대한 완전하고 불변의 기록이어야 합니다. 법적으로 에이전트의 결정이 법원에서 이의 제기될 경우, 감사 추적은 투명성과 책임성을 입증하기 위해 취해진 모든 조치에 대한 정당한 증거 사슬을 제공해야 합니다.

이러한 시스템을 설계할 때 목표는 제약 조건을 신중하게 선택하여 특정 측면을 쉽게 만드는 것입니다. 핵심 아키텍처 원칙은 불변의 추가 전용 타임스탬프 로그입니다. 이 로그는 완전하고 통합되어 병렬로 실행되는 에이전트 전반에 걸쳐 모든 시스템 데이터에 대한 단일 진실의 원천 역할을 하도록 설계되었습니다. 이 설계 선택은 절충점이 있지만, 시간 경과에 따른 시스템 상태 추적 및 검증 프로세스를 단순화합니다.

이 이벤트 로깅 패러다임은 언제든지 시간을 되돌리고 주어진 순간의 시스템의 정확한 상태를 재구성할 수 있도록 보장하여 신뢰할 수 있는 감사 추적을 제공합니다. 주요 절충점은 이벤트를 기록하는 것은 매우 쉽지만, 단순히 이벤트를 삭제하거나, 과거 이벤트의 보기를 읽고 재구성하는 것은 더 복잡할 수 있다는 것입니다. 그러나 이 문제를 완화하기 위해 캐싱 및 스냅샷과 같은 패턴을 구현할 수 있습니다.

이벤트 로깅 패턴은 특정 시간에 진실의 원천에 대한 다양한 보기를 생성하는 것을 단순화합니다. 모든 데이터 보기는 이벤트 로그의 일시적으로 계산된 투영이기 때문입니다. 다음으로 중요한 과제는 규정 준수 책임자로부터 발생하는데, 그들은 민감한 데이터가 시스템 내에서 어떻게 처리되고 그 수명 주기가 어떻게 되는지에 대한 명확성을 요구합니다. 헬스케어에서는 환자 정보의 매우 민감한 특성으로 인해 이러한 우려가 증폭됩니다.

헬스케어 데이터는 악명 높게 복잡하며, 종종 비정형이거나 반정형이며, 항상 엄격한 계층적 관계를 따르지 않습니다. 개별 헬스케어 데이터 조각은 매우 클 수 있으며, 메가바이트를 초과하고 역할 기반 액세스 제어(RBAC)를 포함한 엄격한 액세스 제어가 필요합니다. 일부 고객은 헬스케어 데이터가 온프레미스 VPC를 절대 벗어나지 않도록 요구할 수도 있습니다. 스키마 기반 객체 저장소는 이러한 특성에 매우 적합하며 이벤트 로깅과 효과적으로 일치합니다.

불변성과 견고한 관찰 가능성을 보장하기 위해 에이전트 작업을 기록하는 이벤트 로그는 실제 헬스케어 데이터가 저장되는 스키마 기반 블롭에 대한 참조만 포함합니다. 이러한 분리는 개발자가 민감한 데이터에 직접 액세스할 수 없음을 의미합니다. 헬스케어 데이터를 불변으로 저장함으로써 에이전트가 특정 시점에 어떤 데이터에 액세스했는지 정확하게 재구성할 수 있어 에이전트 단계 및 결정에 대한 상세한 디버깅 및 추적 가능성을 가능하게 합니다. 이 설계는 관찰 가능성, 오케스트레이션 및 계측이 민감한 헬스케어 데이터 자체와 분리되도록 보장합니다.

관찰 가능성과 오케스트레이션을 헬스케어 데이터와 분리하는 것은 제로 트러스트 모델을 가능하게 하며, 객체 저장소가 주요 적용 지점이 됩니다. 에이전트는 임시 토큰을 사용하여 사용 시점에만 데이터에 액세스하여 데이터가 시스템 전체에 불필요하게 흐르는 것을 방지할 수 있습니다. 이 설계는 '치명적인 삼중고'—동일한 프로세스 내에서 다른 데이터에 합법적인 액세스 권한이 부여되었더라도 에이전트가 액세스해서는 안 되는 데이터에 액세스할 위험을 해결합니다. 오케스트레이션 논리는 이 제약 조건을 해결하는 메커니즘을 제공합니다.

AI 에이전트 시스템의 중요한 과제는 동적 에스컬레이션으로, 에이전트의 결정 또는 작업이 승인을 위해 사람에게 전달되어야 하는 경우입니다. 이는 특정 임계값을 초과하는 의료 치료와 같은 사전 정의된 규칙에 의해 트리거될 수 있습니다. 대규모 언어 모델(LLM)은 방대한 양의 텍스트를 처리할 수 있지만, 사람은 할 수 없기 때문에 원활하게 컨텍스트를 전달하는 것이 어렵습니다. 이러한 불균형으로 인해 에이전트와 인간의 상호 작용 전반에 걸쳐 일관된 컨텍스트를 유지하는 것이 어렵습니다.

동적 에스컬레이션을 위한 강력한 패턴은 '에이전트'를 플랫폼 내에서 LLM과 인간을 모두 포괄하도록 더 넓게 정의하는 것입니다. 이 접근 방식은 LLM이 수행할 수 있는 모든 작업을 인간도 수행할 수 있도록 보장합니다. 이는 에이전트의 액션 체인에서 어느 시점에서든 원활한 에스컬레이션을 가능하게 합니다. 다운스트림 단계는 LLM이든 인간이든 업스트림 작업을 수행했는지 여부에 관계없이 무관하기 때문입니다. 이 더 넓은 정의는 행위자에 관계없이 컨텍스트의 공유 정의를 설정함으로써 컨텍스트 공유를 용이하게 합니다.

AI 모델 평가(evals)는 모델 선택 및 제품 접근 방식에 대한 결정을 내리는 데 중요하지만, 상당한 과제를 제시합니다. LLM은 비결정적이며 일관된 평가를 어렵게 만듭니다. 또한 오프라인 데이터셋은 빠르게 구식화될 수 있습니다. 논의된 세 가지 아키텍처 기본 요소(불변 원장, 오케스트레이션 인접 객체 저장소, 인간-에이전트 동등성)는 생산 환경에서도 효과적이고 개인 정보 보호를 위한 평가를 위한 길을 제공합니다.

불변 원장은 액션 리플레이를 허용하여 개발자가 이벤트 시퀀스의 어느 지점으로든 돌아가서 완전한 시스템 상태를 재구성하고 프롬프트, 모델 또는 코드에 특정 조정을 가할 수 있도록 합니다. 이는 변경 사항에 대한 직접적인 영향 평가를 제공합니다. 또한 오케스트레이션 인접 객체 저장소는 민감한 정보를 노출하지 않고도 고객 환경 내에서도 프로덕션 데이터에 대한 평가를 실행할 수 있도록 합니다. 이러한 기능은 강력하고 개인 정보 보호를 위한 평가를 가능하게 합니다.

규제 환경에서 기업 AI를 구축하는 데 중요한 네 가지 아키텍처 원칙은 불변 액션 원장, 오케스트레이션 인접 객체 저장소, 인간-에이전트 동등성, 그리고 일급 속성으로서 평가의 자연스러운 출현입니다. 이 접근 방식은 아키텍처 제약 조건을 진지하게 받아들이고 단순성을 위해 설계하는 것을 강조합니다. 이러한 패턴은 다른 기업 환경에도 존재하지만, AI를 위해 혁신적인 방식으로 결합되어야 합니다. AI는 신선한 아키텍처 사고를 요구하는 고유한 과제를 도입하므로 전통적인 소프트웨어 모델을 넘어 생각해야 합니다.

핵심 교훈은 기업이 초기 유망한 개념 증명에 기업 요구 사항을 단순히 추가하여 생산 시스템을 구축하려고 할 때 문제가 발생한다는 것입니다. 이러한 반응적인 접근 방식은 종종 깨지기 쉽고 일반화하기 어려운 솔루션으로 이어집니다. 대신, 성공은 처음부터 생산 시스템의 제약 조건을 수용하는 데서 비롯됩니다. 이러한 아키텍처 원칙을 염두에 두고 설계함으로써 기업은 규제 산업의 엄격한 요구 사항을 충족하는 강력하고 확장 가능하며 규정을 준수하는 AI 에이전트 시스템을 구축할 수 있습니다.