Theo - t3.gg, AI 코드 도우미의 영구 메모리 함정 탐구

Claude Code는 로컬 컴퓨터에 숨겨진 영구 파일을 생성하여 세션 전반에 걸쳐 정보를 무기한 저장하는 것으로 관찰되었습니다. 발표자인 Theo는 코드베이스 지침을 관리하는 이 방법이 적합하지 않다고 주장합니다. 그는 에이전트가 어떤 정보를 유지할지 자율적으로 결정하기 때문에 이러한 관행이 혼란스럽고 비효율적인 개발 환경으로 이어질 수 있다고 지적합니다.

Theo는 개발에서 코드 자체가 진실의 최종 원천이며, AI 에이전트가 생성한 별도의 메모리 로그가 아니라고 강조합니다. 보조 메모리 시스템을 유지하는 것은 중복되고 취약한 작업을 생성합니다. 이러한 문서 파일은 코드의 진화하는 특성으로 인해 빠르게 구식화되기 때문입니다. 그는 코드베이스가 이미 최종적이고 활발하게 유지 관리되는 진실의 원천이며, 추가적인 관리되지 않는 메모리 시스템을 도입하는 것은 불필요한 복잡성을 추가한다고 주장합니다.

최신 AI 모델은 몇 개의 파일만 분석하여 코드 구조와 스타일을 해석하는 능력이 뛰어나 복잡한 메모리 임베딩이 불필요합니다. Theo는 컨텍스트를 위해 간단한 파일 목록을 유지하는 것은 허용되지만, 정교한 임베딩 시스템은 시간과 자원을 낭비한다고 제안합니다. 그는 이러한 복잡한 메모리 시스템은 오버헤드가 종종 인지된 이점보다 크기 때문에 엄격한 성능 평가를 통과하기 어려울 것이라고 주장합니다. 고급 모델의 코드 컨텍스트 이해 능력은 현재의 많은 메모리 솔루션을 불필요하게 만듭니다.

한 개발자는 Slack 봇이 모든 프롬프트와 응답을 단일의 추가 전용 JSONL 파일에 기록하는 시스템을 구현했습니다. 이 접근 방식은 상호 작용의 포괄적인 기록을 허용합니다. 복잡한 AI 메모리 시스템에 의존하는 대신, 이 개발자는 'jq'를 사용하여 이 로그 내에서 효율적인 데이터 조회를 수행하며, 영구 컨텍스트를 관리하는 보다 제어되고 투명한 방법을 보여줍니다.

Theo는 AI 코딩 에이전트에 대해 'Bash만 있으면 된다'는 철학을 주장하며, 모델이 Bash를 효과적으로 활용하도록 본질적으로 훈련되어 있다고 말합니다. 이 접근 방식은 유연한 인터페이스를 제공하여 에이전트가 자체 솔루션을 구축할 수 있도록 합니다. 이는 단순성을 우선시하고 모델의 기본 훈련을 활용하여 미리 패키지된 복잡한 통합 도구가 필요 없도록 합니다.

Theo는 표준화된 모델 컨텍스트 프로토콜(MCP)에 의존하기보다 코딩 에이전트를 위한 맞춤형의 컨텍스트 효율적인 스킬을 구축할 것을 옹호합니다. 에이전트에게 특정 데이터 형식을 요청 시 로드하도록 지시함으로써 개발자는 불필요한 데이터 입력을 피하고 접근성을 위해 로그를 유지할 수 있습니다. 이 전략은 직접 입력은 제한하면서 포괄적인 기록을 검색할 수 있도록 하여 효율성을 우선시합니다.

Theo는 그의 주요 개발 기기인 'BB1'이라는 Framework 데스크톱에서 Claude Code의 메모리 저장소에 대한 감사를 시작합니다. 그는 AI의 영구 메모리가 현재 워크플로우를 어느 정도 방해하는지 평가하는 것을 목표로 합니다. 이 감사는 일반적인 AI 메모리 관리 관행에 대한 실제적인 반박을 제공하며, Theo가 실제 영향을 평가할 수 있도록 합니다.

Claude Code의 메모리를 감사한 결과, Theo는 미리 보기 또는 프로덕션 모바일 빌드를 건드리지 말라는 엄격한 지침과 같이 현재 작업과 관련 없는 임의의 '강제 규칙'이 저장되어 있음을 발견했습니다. 또한 그는 세탁기/건조기 상태 추적기를 포함하여 관련 없는 프로젝트와 관련된 컨텍스트를 발견했으며, 이는 집중적인 메모리 관리의 부족을 나타냅니다. 게다가 메모리는 벤치마크를 저장했는데, Theo는 이 데이터가 외래 데이터를 도입하여 미래 테스트의 순수성과 무결성을 손상시킨다고 비판했습니다.

Theo는 AI 메모리에 저장된 데이터의 불합리성을 강조하며, Meta의 Muse 코드 CLI를 탐색하는 세부 정보가 보존된 사례를 인용합니다. 이 메모리에는 초기 문제가 해결된 후 실제 유용성이나 공개 문서가 없는 원시 탐색 출력이 포함되어 있었습니다. 그는 기술 문제 해결 데이터가 문제가 해결된 후 에이전트의 메모리에 남아 있어서는 안 되며, 이는 노이즈만 추가하고 효율성을 감소시킨다고 강조합니다.

Claude Code의 메모리 저장소는 처음에 macOS용으로 설계되지 않았기 때문에 문제가 있는 불일치를 보였습니다. 그럼에도 불구하고 시스템은 데스크톱 애플리케이션 요구 사항을 수용하기 위해 메모리 지속성을 강요했습니다. 이로 인해 다중 프로세스 위험 및 중복 파일 생성과 같은 문제가 발생했으며, 이는 플랫폼 간 메모리 관리에서 일관된 설계 부족을 강조합니다.

Theo는 에이전트 메모리 및 컨텍스트 개선을 위한 두 가지 주요 목표를 설명합니다. 즉, 실수 줄이기 및 지속적인 감독 없이 의도된 모델 동작 보장입니다. 목표는 에이전트가 바람직하지 않은 행동을 수행하는 것을 방지하고 생산적인 결과로 유도하는 것입니다. 그는 단순히 메모리를 저장하는 것만으로는 이러한 핵심 과제를 효과적으로 해결하지 못하며, 보다 전략적인 지도가 필요함을 시사합니다.

Theo는 증분 수정이 아닌 문제를 완전히 제거하는 것을 강조하는 에이전트 개입에 대한 '로렌의 접근 방식'을 설명합니다. 에이전트가 수정될 때마다 개발자는 아키텍처 설계를 개선하는 등 범주별 제거를 통해 해당 특정 문제가 재발하는 것을 방지해야 합니다. 아키텍처 변경이 불가능할 경우, 다음으로 가장 좋은 단계는 미래의 오류를 방지하기 위해 린팅 또는 자동화된 테스트를 구현하는 것입니다.

에이전트 주도 데이터 회귀를 방지하기 위해 Theo는 웹소켓 데이터 사용량을 모니터링하기 위해 스레드를 재생하는 CI(지속적 통합) 테스트를 구현했습니다. 최적화된 수준보다 30%를 넘는 엄격한 상한선이 설정되었으며, 이는 데이터 사용량을 이 한계까지 또는 그 이상으로 밀어붙이는 변경 사항은 Pull Request(PR)를 실패하게 만들 것임을 의미합니다. 이 시스템은 개발자에게 알림을 보내 에이전트가 작업 완료를 보고하기 전에 회귀를 수정하도록 강제하며, 이미 개발에서 실제 회귀를 성공적으로 방지했습니다.

소프트웨어 개발의 실패 방지 계층 구조에서 Theo에 따르면 구조적 코드 변경이 오류에 대한 주요 방어 수단입니다. 린트 규칙과 지속적 통합(CI)은 아키텍처 수준에서 해결되지 않은 문제를 포착하는 보조 도구 역할을 합니다. 에이전트 스킬과 맞춤형 도구는 실수를 방지하기 위한 주요 방법이 아닌 최후의 수단으로 간주되어야 하며, 본질적인 코드 무결성에 대한 선호도를 강조합니다.

Theo는 'Uncle Bob'의 인용구를 인용하며, AI 에이전트에 엄격한 테스트 주도 개발(TDD) 프로토콜과 같은 인간의 훈련을 부과하는 것은 실수라고 주장합니다. 대신 그는 에이전트에 인간의 가치를 부과하는 것이 더 나은 결과로 이어진다고 제안합니다. 이 구분은 AI 에이전트를 엄격한 인간 절차 모방을 강요하기보다 윤리적 및 품질 원칙으로 안내하여 그들의 본성에 가장 적합한 방법을 통해 목표를 달성하도록 하는 것을 강조합니다.

Theo는 AI 에이전트를 프로젝트의 개발 철학 및 전반적인 목표와 일치시킬 필요성을 강조합니다. T3 코드의 경우 오픈 소스 특성을 유지하는 것이 중요하며, 이는 에이전트가 비공개 소스 변경을 제안하지 못하도록 해야 함을 의미합니다. 목표는 시스템 무결성을 손상시키지 않으면서 성능 목표를 달성하는 것으로, 인간 기여자 및 AI 에이전트 모두가 동일한 비전과 가치를 향해 일관성 있게 협력하도록 보장합니다.

Theo는 인간과 AI 에이전트 간의 통신을 표준화하고 일관성을 높이며 AI '환각'을 줄이기 위해 용어집 사용을 옹호합니다. 특정 용어를 정의함으로써 공유된 어휘가 확립되어 에이전트가 불필요하거나 지나치게 화려한 용어를 생성하는 것을 방지합니다. 이 관행은 양측이 서로를 이해하도록 보장하여 더 원활하고 정확한 상호 작용을 촉진합니다.

Theo는 잘 튜닝된 AI 에이전트의 벤치마크를 즉각적인 요청을 넘어 필요를 예측하고 단순한 작업 실행에서 사전 예방적 문제 해결로 전환하는 것으로 정의합니다. 성공은 에이전트의 깊은 이해력과 다음 단계를 예측하는 능력에 사용자가 놀랄 때 측정됩니다. 개발자가 이 수준의 예측을 자주 경험하지 못한다면 에이전트가 아직 충분히 튜닝되지 않았다는 것을 나타냅니다.