장시간 AI 에이전트의 '기억상실' 막는 법: 스테파니아 드러가 연구

장기 작업을 수행하는 AI 에이전트는 '맥락 망각' 문제에 직면합니다. 이는 모델이 스스로 모순되거나, 이전에 수행했던 작업을 잊어버려 다시 시작하거나, 원래 질문을 잊고 표류하는 등의 형태로 나타납니다. 이러한 문제는 AI 에이전트의 효율성과 신뢰도를 크게 저해할 수 있습니다.

메타(Meta)의 최근 예측에 따르면, AI는 점점 더 장기적인 작업을 해결하는 방향으로 발전하고 있습니다. 동시에 새로운 모델 릴리스는 줄어드는 추세입니다. 이러한 두 가지 경향이 합쳐지면서, AI 에이전트가 맥락을 효과적으로 유지하는 능력은 그 어느 때보다 중요해지고 있습니다. 맥락 망각 문제를 해결하는 것이 AI 개발의 최우선 과제가 되고 있습니다.

스테파니아 드러가는 로컬 모델과 로컬 하네스를 활용하여 이 문제를 해결하고자 했습니다. 코인베이스(Coinbase) CEO는 회사가 AI 사용량을 늘리면서도 AI 관련 지출을 줄일 수 있었던 비결을 공유했습니다. 이는 더 많은 로컬 모델을 사용하고, 더 나은 라우팅, 캐싱, 맥락 정리와 같은 모범 사례를 적용하며, 사용자들이 AI를 어떤 목적으로 사용하는지에 대한 가시성을 확보한 덕분이었습니다. 이러한 접근 방식은 AI 비용을 절감하면서도 활용도를 높일 수 있음을 시사합니다.

최근 로컬 모델의 성능이 크게 향상되고 있습니다. 특히 페이블(Fable)의 등장과 함께 GLM 모델이 주목받고 있으며, DeepSeek V4 Flash는 M3 Ultra와 같은 환경에서도 실행될 수 있게 되었습니다. 아직 램(RAM) 용량의 병목 현상이 존재하지만, 이러한 로컬 모델들은 에이전트 작업이나 도구 활용과 같은 복잡한 작업에도 유용하게 사용될 수 있는 수준에 도달하고 있습니다.

스테파니아 드러가는 도쿄에 있는 자신의 M3 Ultra 맥(Mac)에서 원격으로 실험을 진행했습니다. 96GB 램과 28코어 CPU를 탑재한 이 시스템에서는 두 가지 모델을 사용했습니다. 4비트로 양자화된 Qwen 27B와 DeepSeek V4 Flash 모델을 활용하여 다양한 메모리 관리 방식의 성능을 평가했습니다. 이 환경은 온디바이스 모델의 잠재력을 탐색하기 위한 실험 기반이 되었습니다.

메모리를 위한 하네스를 설계할 때, 메모리는 단순한 데이터베이스 저장소가 아니라 '쓰기(write)-관리(manage)-읽기(read)' 루프를 따르는 제어 시스템으로 이해해야 합니다. 이는 모델 주변에서 정보가 어떻게 기록되고, 조직되며, 필요할 때 검색되는지를 제어하는 핵심적인 역할을 합니다. 이러한 관점은 AI 에이전트의 맥락을 효과적으로 유지하는 데 필수적입니다.

스테파니아 드러가의 하네스 디자인은 '연구 에이전트(research agents)'를 기반으로 합니다. 이 에이전트들은 영구적인 메모리가 없으므로, 모든 메모리는 하네스에서 공급됩니다. 하네스는 세 가지 주요 블록으로 구성됩니다. 첫째, '코어(core)' 블록은 항상 에이전트에게 추적 정보를 보여줍니다. 둘째, '리콜(recall)' 블록은 다양한 회상 모드를 테스트하는 부분입니다. 셋째, '아카이빙(archival)' 블록은 서로 다른 세션 간에 정보를 추적하고 보관하는 역할을 합니다.

리콜 블록에서는 여러 가지 기억 회상 모드를 테스트했습니다. 기본값은 메모리를 전혀 사용하지 않는 '무기억(no recall)' 방식입니다. 다음으로는 RAG(Retrieval Augmented Generation) 벡터를 사용하여 유사성 기반으로 정보를 가져오는 방식입니다. '결정 장부(decisions ledger)' 방식은 각 단계에서 내려진 결정을 추적하고 우선순위를 부여합니다. 마지막으로, '오라클(oracle)'이라는 방식은 시스템에 올바른 메모리를 직접 제공하는 지상 진실(ground truth) 역할을 합니다. 이 실험에서는 모델은 고정하고 리콜 블록의 변수만 변경하여 각 방식의 성능을 비교했습니다.

첫 번째 테스트 작업으로 문헌 검토를 설정했습니다. 에이전트에게 문헌 검토 작업을 부여하고, 방대한 논문 자료에서 중요한 과학적 주장이 나중에 철회된 사례를 포함했습니다. 예를 들어, 네이처(Nature)지에 발표된 742,000개의 유망 물질 발견 주장처럼 큰 주장이 나중에 철회되었지만, 철회 사실은 헤드라인이나 인용에 비해 자료 안에서 훨씬 작게 언급되어 있습니다. 이 실험은 시스템이 이러한 유형의 질문에 대해 올바른 답변을 검색할 수 있는지 확인하기 위함이었습니다.

문헌 검토 테스트 결과, 모든 논문과 정보가 모델의 맥락(context) 안에 들어가는 경우에는 메모리를 추가해도 기능적인 이점이 없다는 것을 발견했습니다. 메모리를 사용하거나 사용하지 않거나 성능은 동일했으며, 메모리 사용은 오히려 추가 비용만 발생시켰습니다. 이는 정보의 양이 맥락 창을 초과하지 않을 때는 메모리 관리의 필요성이 상대적으로 낮음을 시사합니다.

작업 기간이 길어져 전체 작업 내용과 관련된 맥락이 한 번에 처리될 수 있는 컨텍스트 창에 맞지 않게 될 경우, 좋은 메모리 하네스의 역할이 매우 중요해집니다. 이때 메모리 하네스는 에이전트가 과거의 정보를 효율적으로 관리하고 회상하여 장기적인 목표를 달성하도록 돕는 핵심 요소가 됩니다. 이는 복잡하고 지속적인 AI 작업을 가능하게 하는 기초가 됩니다.

스테파니아 드러가는 장기 작업 메모리 측정을 위해 확립된 벤치마크인 X-Bench를 활용하여 테스트를 진행했습니다. 예를 들어, 특정 질문에 대한 정답이 124단계에 있지만, 질문을 던지는 시점이 500단계에 있을 경우, 정답은 컨텍스트 창 밖에 존재하게 됩니다. 이러한 상황에서 모델은 메모리 하네스를 사용하여 올바른 단계에서 특정 답을 정확하게 검색해야 합니다. X-Bench는 이러한 장기적인 정보 회상 능력을 평가하는 데 적합한 도구입니다.

이전 설명된 다양한 메모리 정책 래더를 테스트했습니다. 메모리를 끈 상태를 기본으로 하여, 여러 유형의 회상 방식을 적용하고, '오라클'을 참조점으로 활용하여 각 정책의 성능을 평가했습니다. 오라클은 이론상 최적의 회상 결과를 제공하여 다른 정책들의 성능을 비교하는 기준점이 됩니다. 이 방법을 통해 각 메모리 정책이 얼마나 효과적으로 정보를 회상하는지 파악할 수 있었습니다.

스테파니아 드러가는 68개 X-Bench 작업에 대한 성능 분해 결과, 순위 기반 회상(Ranked Recall) 정책이 가장 우수한 성능을 보였다고 밝혔습니다. 순위 기반 회상을 사용했을 때 모델이 정답을 더 자주 찾아냈으며, 각 질문의 여러 셀과 다양한 시드(seed)에 대한 평가에서도 이러한 결과는 일관되게 나타났습니다. 이는 정보의 중요도를 기반으로 우선순위를 매겨 회상하는 방식이 에이전트의 정확도를 높이는 데 효과적임을 의미합니다.

오라클(Oracle)은 모델에 올바른 메모리를 제공하지만, 모델이 그 정보를 반드시 사용하도록 강제하지는 않습니다. 따라서 모델은 올바른 메모리를 받았음에도 불구하고 여전히 잘못된 정보를 검색하거나, 제공된 정보를 무시하거나, 혼란스러워할 수 있습니다. 이러한 이유로 오라클은 이론상 최적의 성능을 제공할 수 있는 기준점이지만, 실제 실험에서는 최고 성능에 도달하지 못하는 한계를 보였습니다.

순위 기반 회상 정책은 다양한 실험 조건에서 일관되게 가장 우수한 성능을 보였습니다. 스테파니아 드러가는 임의의 예시를 주거나, 잘못된 단계를 주거나, 가장 최근 단계를 주는 등 다양한 제거 실험을 수행했지만, 순위 정책을 사용한 회상이 지속적으로 최고의 결과를 나타냈습니다. 이 정책은 Qwen 27B와 DeepSeek V4 Flash와 같은 여러 모델뿐만 아니라 Spider V2 벤치마크와 같은 다양한 벤치마크에서도 효과적임을 확인했습니다. 이는 순위 정책이 광범위하게 적용될 수 있는 강력한 메모리 관리 전략임을 시사합니다.

더 나은 회상 기능을 제공하는 것은 단순히 성능 향상에 그치지 않고, 실제로 비용 절감 효과도 가져옵니다. 나쁜 메모리 관리는 더 많은 토큰을 소비하게 만들고 에이전트를 잘못된 방향으로 유도하여 비효율을 초래합니다. 반면, 회상을 위한 구조화된 좋은 정책은 불필요한 토큰 소비를 줄이고 에이전트의 효율성을 높여, 결과적으로 많은 토큰 사용량과 예산을 절약할 수 있게 합니다.

이번 실험을 통해 스테파니아 드러가는 회상 정책을 가장 중요한 지표로 고려할 것을 제안합니다. 시스템을 설계할 때 어떤 종류의 메모리를 저장하고, 어떻게 순위를 매기며, 회상 함수를 어떻게 설계할지에 대해 깊이 고민해야 합니다. 이러한 접근 방식은 AI 에이전트의 장기적인 맥락 유지 능력을 최적화하고, 전반적인 성능과 효율성을 향상시키는 데 결정적인 역할을 할 것입니다.

메모리 기술 환경은 매우 풍부하며, 이는 단지 초기 실험일 뿐입니다. 현재 오픈 소스 저장소에는 30개 이상의 실행 가능한 '요리책(cookbooks)'이 공유되어 있습니다. 메모리는 단기, 장기, 다양한 인지 기술을 포함하는 복잡한 영역입니다. 평가 결과를 활용하는 방법도 있습니다. 현재 간단한 파일 시스템 검색부터 메모리 모델 훈련에 이르기까지, 덜 구조화된 것부터 완전히 구조화된 것까지 광범위한 솔루션 스펙트럼이 존재합니다. 이는 AI 에이전트의 메모리 문제를 해결하기 위한 다양한 접근 방식이 있음을 보여줍니다.

로컬 모델로 테스트하는 것은 모든 것을 완벽하게 제어할 수 있다는 큰 장점이 있습니다. 사용되는 데이터, 컴퓨팅 자원, 평가 추적 등 파이프라인의 모든 단계를 통제할 수 있어 높은 수준의 주권(sovereignty)을 확보할 수 있습니다. 그러나 이러한 방식에는 비용이 따릅니다. 로컬 모델은 직렬로만 실행될 수 있으며, DeepSeek V4 Flash와 같은 모델은 배치 쿼리(batch query)를 지원하지 않아 처리 시간이 길어집니다. 그럼에도 불구하고, 파이프라인의 모든 단계를 제어하며 메모리가 수행할 수 있는 역할을 깊이 탐구하는 데는 매우 강력하고 가치 있는 방법이라고 스테파니아 드러가는 강조했습니다.