장기 AI 에이전트에는 실험이 필요하다

그녀의 연구는 주로 AI 게임 마을 시뮬레이션을 사용하여 에이전트의 상호작용과 기억이 시간이 지남에 따라 지속되는 맥락에서 이들을 관찰하고 테스트합니다.

에리나 카라티와 아루나찰람 마니칸단은 Supercell의 AI 혁신 연구소에서 Project Paradox를 개발했습니다.

이 프레임워크는 개발자가 지능형 자율 에이전트를 비디오 게임에 통합하여 다른 플레이어나 에이전트와 상호 작용, 경쟁 또는 협력할 수 있도록 하는 모듈식 설계를 제공합니다.

이 에이전트들은 내부 기억, 감정 상태, 호기심을 갖추고 있으며, 이는 게임 환경 내에서 그들의 행동과 결정을 안내하도록 설계되어 기본적인 개체 조작을 넘어 맞춤형 작업을 지원합니다.

Project Paradox의 에이전트는 상태 저장 시스템으로 설계되었으며, 각 에이전트는 자체 RAG 기반 메모리 네임스페이스를 소유하여 기억이 다른 에이전트 간에 혼합되거나 유출되지 않도록 합니다.

감정 상태는 기쁨, 슬픔, 두려움, 분노, 혐오를 포함하는 벡터를 사용하여 추적되며 에이전트 행동에 영향을 미칩니다.

또한 신뢰 매트릭스를 사용하여 개별 에이전트와 플레이어 간의 신뢰 점수를 추적하며, 중요도 점수 메커니즘은 중요한 이벤트를 캐시하여 더 효율적인 검색 및 회상을 돕습니다.

에이전트는 소문이 확산될 때 정보의 원본 출처를 자주 잊어버려 소문이 사실로 잘못 격상되는 경우가 발생합니다.

또한 에이전트는 알려진 사실을 장기적인 행동 계획에 통합하지 못하는 경우가 많아 시뮬레이션 환경 내에서 장기간 행동의 일관성과 현실성에 영향을 미칩니다.

장기적인 일관성 문제를 해결하기 위해 팀은 단일 응답 평가를 넘어 자율적인 실험을 탐색함으로써 다중 에이전트 시스템을 강화하는 것을 목표로 합니다.

안드레이 카르파티의 자동 연구 개념에서 영감을 받아, 그들은 시스템이 자체 실험을 수행하여 복잡하고 장기간 지속되는 사회적 행동의 개선 프로세스를 자동화할 수 있도록 하는 방법을 연구하고 있습니다.

이 새로운 접근 방식은 수동 프롬프트 튜닝을 자동화된 시나리오 테스트로 대체하며, Project Paradox를 다중 에이전트 프레임워크를 위한 '실험대'로 활용합니다.

자동 연구는 단순히 RAG 검색을 향상시키는 것이 아니라 기억, 통신, 불확실성 및 재계획과 관련된 에이전트 프로토콜을 최적화하는 실험 루프 역할을 합니다.

개별 주민들은 지역적 관점만 가지고 공통 메모리 데이터베이스가 없기 때문에 에이전트 행동에 점수를 매기고 에이전트 프로토콜 또는 인지 정책에 대한 제한된 변경을 제안한 다음 시나리오를 다시 실행하여 사회 수준 행동이 개선되었는지 확인합니다.

공개 사실 확산 테스트는 에이전트가 전파된 사실에 기반하여 정확하게 학습하고 계획하는지 확인하며, 소문 불확실성 검사는 '그럴 수 있다'는 진술이 확고한 사실이 아닌 가능성으로 남아 있는지 확인합니다.

재계획 시나리오는 에이전트가 의도된 경로가 방해받을 때 행동을 업데이트하는 능력을 평가하여 적응형 행동을 보장합니다.

도달 범위와 출처 유지율을 추적하는 균형 잡힌 성과표는 에이전트 품질과 같은 모호한 지표에 의존할 때 발생하는 숨겨진 실패를 방지합니다.

이러한 성과표에는 도달 범위(확산), 출처 유지(출처), 불확실성 보존(소문)에 대한 측정이 포함됩니다. 단일 지표를 과도하게 최적화하면 과도한 공유나 노이즈가 많은 기억과 같은 바람직하지 않은 행동으로 이어질 수 있기 때문입니다.

이는 안정성을 유지하기 위해 하네스, 시나리오 및 메트릭을 고정하는 동시에, 변경 사항이 무작위 패치를 통해서가 아니라 제어된 정책 공간 내에서 이루어지도록 메모리 쓰기, 통신 및 신뢰 규칙과 같은 특정 정책 매개변수만 노출하는 것을 포함합니다.

출처 귀속을 보존하거나 신뢰 표시자를 저장하면 에이전트가 불확실한 주장을 완화할 수 있으며, 이는 에이전트 프로토콜에 대한 사소한 조정이 사회적 수준 행동에 상당한 영향을 미칠 수 있음을 보여줍니다.

예를 들어, 출처 귀속을 보존하면 원본 세부 정보에 대한 기억 손실을 방지하고, 신뢰 표시자를 저장하면 에이전트가 불확실한 주장을 완화하는 데 도움이 되며, 공개 사실을 명확하게 분류하면 증거의 사전 공유가 향상되어 보다 견고하고 정확한 사회적 역학에 기여합니다.

에리나 카라티는 RAG 기억만으로는 에이전트의 바람직한 장기 행동을 보장하기에 불충분하다고 강조했습니다. 에이전트가 직접, 간접, 검증된, 불확실한 정보를 구별해야 하기 때문입니다.

원시적인 에피소드 기억과 현재 신념을 분리하고, 주관적인 평가에 의존하기보다 제어된 시나리오를 통해 행동 변화를 테스트하는 것이 중요하며, 최적화의 의도하지 않은 부작용에 대응하기 위해서는 롤백 메커니즘을 구현하는 것이 필수적입니다.

장기 에이전트에서 발생하는 과제는 지원 에이전트, 개인 비서, 연구 에이전트, 워크플로우 에이전트를 포함한 다양한 에이전트 유형에 걸쳐 보편적입니다.

이러한 모든 시스템은 시간이 지남에 따라 상태를 유지해야 하는 근본적인 문제를 공유하며, 그 상태는 미래 행동에 직접적인 영향을 미치므로 이 프레임워크는 다양한 AI 애플리케이션에 적용 가능합니다.

이는 하네스를 고정하고, 명확한 시나리오를 정의하고, 추적을 기록하고, 실제 에이전트 행동에 점수를 매기고, 제한된 정책 표면을 노출하고 탐색하며, 엄격한 측정을 통해 효과적인 것으로 입증된 변경 사항만 유지하여 제어된 실험을 통한 체계적인 개선을 보장하는 것을 포함합니다.