에이전트 프레임워크는 해롭다: 제1원칙으로부터 견고한 AI 시스템 구축하기

레미 루프는 일반적으로 사용되는 기존 Cron 작업이 복잡한 이벤트 기반 에이전트 시스템에 근본적으로 부적합하다고 지적합니다. 이러한 작업은 시간 기반 실행을 위해 설계되어 특정 간격으로 작업을 실행하도록 예약합니다. 그러나 AI 에이전트는 파일 업로드, 수신 이메일 또는 풀 리퀘스트 업데이트와 같은 다양하고 예측 불가능한 시스템 이벤트에 동적으로 응답해야 합니다. Cron 작업에 의존하면 예약된 실행 사이에서 발생하는 이벤트나 특정 작업의 트리거를 설명할 수 없으므로 시스템 관찰 가능성 및 상태 관리에서 상당한 격차가 발생합니다.

제안된 솔루션은 시간 기반 스케줄링에서 시스템 전반의 이벤트 기반 반응성으로 전환합니다. 이 패러다임에서는 음성 메모를 시스템에 드롭하는 것과 같은 새로운 데이터 입력이 자동으로 이벤트를 내보냅니다. 그런 다음 에이전트는 주기적으로 변경 사항을 폴링하는 대신 이러한 이벤트에 특정한 반응을 보이도록 설계됩니다. 각 에이전트는 명확하게 정의된 입력과 출력으로 구축되며, 구조화된 출력의 적용은 에이전트가 작업을 안정적으로 연결하여 견고하고 예측 가능한 워크플로우를 생성할 수 있도록 합니다.

루프는 그래프 기반 로직을 옹호하는 에이전트 프레임워크가 불필요한 복잡성을 초래한다고 비판합니다. 이러한 프레임워크는 종종 개발자가 복잡한 실행 그래프를 수동으로 매핑하도록 요구하며, 이는 유지 관리 및 확장이 어려울 수 있습니다. 대신 이벤트 기반 구독 모델은 그래프에서 정적 엣지를 유지할 필요가 없습니다. 시스템의 토폴로지는 이벤트 로그에서 동적으로 나타나 오케스트레이션을 단순화하고 시스템을 더욱 유연하고 변화에 적응할 수 있도록 만듭니다.

에이전트 시스템 개발 초기, .txt는 아키텍처 선택에 직접적인 영향을 미친 몇 가지 치명적인 실패에 직면했습니다. 여기에는 일일 브리핑에 대한 Slack 메시지 중복, 음성 메모의 완전한 소실, 버전 관리되지 않은 프롬프트 편집으로 인한 시장 브리핑의 '쓰레기'화가 포함됩니다. 이러한 실제 문제는 초기 설정의 한계를 강조하고 이러한 문제를 체계적으로 처리할 수 있는 견고한 런타임의 필요성을 강조했습니다.

개발 중 발생한 각 실패 모드는 런타임의 핵심 아키텍처 구성 요소로 체계적으로 전환되었습니다. 사라진 음성 메모로 인한 데이터 손실은 정보가 절대 폐기되지 않도록 보장하는 append-only 이벤트 로그 생성으로 이어졌습니다. 중복 작업 실행은 시도를 계산하고 관리할 수 있는 적절한 작업 큐의 필요성을 야기했습니다. 추적 불가능한 프롬프트 편집 문제는 모든 프롬프트에 대한 불변 버전 관리를 제공하는 콘텐츠 주소 지정 저장 시스템으로 해결되었습니다. 이러한 구성 요소들은 함께 모든 이벤트가 인과적으로 연결되고 영구적으로 기록되는 포괄적인 '시스템의 메모리'를 형성하여 탄력적이고 관찰 가능한 시스템을 만듭니다.

루프는 시스템 내에서 에이전트를 격리된 프로세스로 설명하며, 운영 체제 커널에 비유합니다. 시스템은 이러한 에이전트를 스케줄링하고 격리하도록 설계되어 내부 작동을 추상화합니다. 이러한 격리를 통해 비기술적인 사용자도 기본 시스템에 대한 깊은 기술 지식 없이 간단한 마크다운을 사용하여 에이전트 동작을 정의할 수 있습니다. 시스템은 로그 내에 에이전트 정의를 기록하여 구성 및 작업에 대한 명확한 기록을 유지합니다.

시스템의 핵심 설계 원칙은 초기 모델의 구조화된 출력에서 높은 오류율을 해결하는 과정에서 나온 '나쁜 행동을 불가능하게 만드는 것, 단지 가능성이 낮게 만드는 것이 아닌 것'입니다. 이는 엄격한 유형 경계의 강제를 통해 달성됩니다. 특히 두 가지 중요한 경계가 있습니다. 에이전트가 외부 도구와 예측 가능하게 상호 작용하도록 보장하는 유형화된 도구 호출과 에이전트 간에 전달되는 데이터가 미리 정의된 스키마를 준수하도록 보장하는 에이전트 간의 유형화된 이벤트입니다.

현재 .txt는 기술 및 비기술 직원이 모두 기여한 20개의 내부 에이전트를 운영하고 있으며, 이는 마크다운 기반 에이전트 정의가 제공하는 접근성을 보여줍니다. 이러한 백그라운드 에이전트는 일일 브리핑 생성과 같은 중요한 작업을 자동화하는데, 레미 루프는 이러한 작업이 "정말 마법 같고" 수동 프로세스보다 우수하다고 주장합니다. 그는 이 영역에서 주요 과제는 특정 AI 복잡성보다는 엔지니어링 오케스트레이션에 있다고 강조하며, 견고한 시스템 설계의 중요성을 강조합니다.

레미 루프는 AI 인프라에 관해서는 조직에 "구매하기 전에 반드시 구축을 시작하라"고 조언합니다. 그는 AI 에이전트의 인프라 범주가 아직 초기 단계이고 불안정하여 조기 구매가 위험하다고 강조합니다. 소규모 회사나 기술 CEO의 경우, 먼저 내부 도구를 구축하는 것이 외부 공급업체에 의존하지 않고 특정 요구 사항과 한계를 이해하는 데 유리할 수 있습니다. 그는 또한 프레임워크 개발자에게 "자신이 만든 것을 직접 사용해 보라"(eat their own dog food)고 촉구하는데, 이는 유용성을 보장하고 실제 문제를 해결하기 위해 자신의 도구로 실제 응용 프로그램을 구축해야 한다는 의미입니다.