클로드의 메모리 기능: 도움이 되기보다 해가 될까?

클로드 코드의 숨겨진 파일에 자동적으로 상태가 저장되는 것은 세션 전반에 걸쳐 지속적이고 잠재적으로 원치 않는 동작을 생성합니다. 테오(Theo)는 시스템이 "무언가를 요청한 후 컴퓨터 어딘가에 있는 마법의 숨겨진 파일에 정보를 저장한다"고 지적하며, 이는 AI가 저장된 컨텍스트를 반복적으로 적용하게 만든다고 말합니다. 이는 모델이 명시적인 지시 없이 오래되고 관련 없는 데이터에 기반하여 결정을 내리게 할 수 있습니다.

AI 에이전트의 별도 메모리 시스템을 유지하는 것은 특히 코딩 환경에서 불필요하고 오류 발생 가능성이 높다고 여겨집니다. 아르멘(Armen)은 "코드가 진실"이며 개발의 '신뢰할 수 있는 정보원'이라고 강조하면서, 코드베이스 자체가 유지보수가 필요한 진화하는 시스템이므로 추가적인 메모리 계층이 필요 없다고 말합니다. 이러한 접근 방식은 코드 자체가 지속적으로 업데이트되고 신뢰할 수 있는 정보의 최종 출처가 되어야 한다고 주장합니다.

코드 주석과 같이 겉보기에는 무해한 요소조차도 오래되면 기술 부채의 한 형태가 될 수 있습니다. 테오(Theo)는 처음에 코드 조각이 특정 방식으로 작동하는 이유를 설명하는 주석이 기본 코드가 변경되었지만 주석은 변경되지 않으면 적극적으로 오해를 유발할 수 있다고 설명합니다. 이러한 오래된 컨텍스트는 인간 개발자와 AI 에이전트 모두를 잘못된 방향으로 이끌어 오류나 비효율적인 해결책으로 이어질 수 있습니다.

AI 모델은 몇 개의 파일만 분석하여 코드 구조와 스타일을 이해하는 데 매우 능숙합니다. 마리오(Mario)는 코드베이스가 잘 정돈되어 있다면 AI의 코딩 스타일을 안내하기 위해 계층적 상태 머신(HSM)이나 상세한 문서와 같은 복잡한 추가 시스템이 필요 없다고 제안합니다. 임베딩이나 복잡한 그래프 구조로 과도하게 설계하는 것은 모델이 최소한의 집중된 입력으로 강력한 내재적 능력을 보여주기 때문에 종종 자원 낭비입니다. 이러한 효율성은 AI 성능을 위해 보조 메모리 시스템보다 코드베이스 자체의 품질이 더 중요하다는 것을 강조합니다.

JQ와 JSONL을 사용하여 광범위한 히스토리를 관리하는 맞춤형 슬랙 봇을 운영하는 테오(Theo)는 불투명한 메모리 시스템 대신 표준 도구를 사용하여 정보를 검색할 것을 주장합니다. 그는 코딩 작업이 종종 모호한 메모리 대신 명시적인 컨텍스트가 더 효과적인 결정론적 경로를 포함한다고 단언합니다. 테오는 "코딩에는 메모리가 필요 없다"고 간결하게 말합니다.

메모리 시스템은 인간의 문제가 직접적인 프로그래밍 경로가 없어 사용자 특정 컨텍스트에 메모리 태그가 유용한 채팅 컨텍스트에서 더 적용 가능합니다. 대조적으로, 코드베이스 상호작용은 변경 사항을 프로그래밍 방식으로 추적할 수 있게 하여 내부 메모리의 중요성을 낮춥니다. 코딩 환경에서 메모리에 과도하게 의존하면 모델이 과도한 과거 컨텍스트로 인해 객관성을 유지하는 데 어려움을 겪는 비생산적인 '정신병 상태'로 강요될 수 있습니다. 테오(Theo)는 "메모리는 채팅 컨텍스트에서 더 의미가 있다고 생각합니다... 코드에서보다 훨씬 덜 잘 매핑된 공간에서 올바른 것을 찾을 수 있다는 점이 인상적입니다."라고 말합니다.

메모리로부터의 공격적인 컨텍스트 주입은 AI 응답의 품질을 저하시킬 수 있습니다. 테오(Theo)는 질문을 하면 모델이 과거 상호작용에 너무 깊이 파고들어 집중된 답변을 제공하는 능력을 저해하는 사례들을 회상합니다. 이를 상쇄하기 위해 사용자들은 때때로 "내 친구가 이런 문제가 있다"와 같이 질문을 재구성하여 AI가 자신의 이력을 무시하도록 명시적으로 프롬프트해야 합니다. 이는 과도한 메모리가 AI가 객관성을 유지하고 관련 정보를 제공하는 것을 방해할 수 있음을 시사합니다.

AI 모델은 작업 실행을 위해 bash를 활용하는 데 점점 더 능숙해지고 있으며, 이는 강력하고 종종 충분한 도구가 됩니다. 테오(Theo)는 모델이 "이제 본질적으로 bash를 사용하도록 훈련되어 있다"고 언급하며, 이는 모델이 동적으로 자체 도구를 구축하고 관리할 수 있게 합니다. 이러한 숙련도는 복잡한 미들웨어 또는 추상 계층의 필요성을 줄여주며, bash를 통한 직접 파일 조작이 종종 더 효율적입니다. 모델이 bash를 효과적으로 활용하는 능력은 워크플로를 간소화하고 추가 메모리 시스템에 대한 의존도를 최소화합니다.

효율적인 AI 에이전트 설계, 특히 코딩을 위한 설계는 세 가지 핵심 원칙을 따릅니다. 코딩에는 별도의 메모리 시스템이 필요하지 않고, bash 작업으로 대부분의 작업을 수행하기에 충분하며, 도구 출력은 필요한 경우에만 컨텍스트로 로드되어야 합니다. 이러한 원칙은 컨텍스트 과부하를 방지하고 간결하며 효과적인 AI 상호작용을 촉진하는 것을 목표로 합니다. 이러한 지침을 준수함으로써 개발자들은 과도한 메모리와 지나치게 복잡한 도구 체인의 함정을 피하고 AI 에이전트가 집중하고 성능을 유지하도록 할 수 있습니다.

연사는 클로드 코드(Claude Code)가 프로젝트 이력을 추적하고 메모리를 저장하는 방법을 조사하기 위해 자신의 'BB1' 데스크톱 환경에 대한 감사를 수행했습니다. 그는 AI 에이전트인 Opus와 Fable 모두가 자율적으로 정보를 메모리에 저장하기 시작한 것을 관찰하며, 검색된 메모리 항목의 실제 유용성과 관련성에 대한 의문을 제기했습니다. 테오(Theo)는 특히 "이 프로젝트에 대한 어떤 기억을 가지고 있나요?"라고 질문하여 저장된 메모리를 찾았습니다. 이 직접적인 질문은 지속적이고 관리되지 않는 메모리 흔적을 드러냈고, 그 실질적인 이점에 대한 추가적인 조사를 촉발했습니다. 조사 결과는 메모리가 저장되고 있었지만, 진행 중인 작업에 대한 실제 기여는 논란의 여지가 있었으며, 그 효과성에 대한 면밀한 검토로 이어졌음을 시사합니다.

연사는 메모리 파일 작업에서 쓰기 대 읽기 비율이 3:1로 상당한 불균형을 보였다고 지적했습니다. 이는 메모리가 액세스되는 빈도보다 훨씬 더 자주 기록된다는 것을 의미합니다. 분석된 45개의 메모리 파일 중 26개는 한 번도 액세스되지 않아 상당한 자원 낭비를 보여주며, 실질적인 가치에 대한 연사의 초기 회의론을 확인시켜주었습니다.

바로 실수를 방지하고 사용자 의도에 따라 행동을 조율하는 것입니다. 첫 번째 목표는 "모델이 불필요한 실수를 하지 않도록 하는 것"에 초점을 맞추며, AI가 '어리석거나' 성가신 오류를 저지르는 경우를 다룹니다. 두 번째 목표는 "정확히 무엇을 원하는지 말하지 않고도 원하는 방식으로 행동하도록" 모델을 유도하는 것으로, 이는 모델의 행동과 의사 결정 과정을 미묘하게 조종하는 것을 포함합니다. 이러한 별개의 목표를 인식하면 AI 상호작용 및 에이전트 정렬을 위한 보다 효과적인 전략을 개발하는 데 도움이 됩니다.

AI 에이전트의 실패를 해결하려면 '이것을 하지 마세요'와 같은 지시로 파일을 패치하는 임시방편적인 해결책을 넘어설 필요가 있습니다. 테오(Theo)는 원치 않는 것을 넘어서서 "에이전트가 무엇을 할지 어떻게 생각하기를 원하는지"를 전달하는 것을 제안합니다. 실패는 종종 인간의 기대와 에이전트의 운영 논리 사이의 아키텍처 불일치에서 비롯됩니다. 모델의 '사고 과정'을 지시함으로써 단순히 행동만이 아니라, 개발자들은 더 좋고 지속 가능한 결과를 얻을 수 있으며, 작업에 대한 더 깊은 이해를 촉진할 수 있습니다.

AI 에이전트를 수정하기 위해 개입할 때, 목표는 오류의 근본 원인을 완전히 제거하는 것이어야 합니다. Cursor/Grockbot의 로렌(감자)을 인용하며, 연사는 반응적 수정보다 아키텍처 변경을 우선시하는 것을 강조합니다. 데이터 구조와 전체 아키텍처를 개선함으로써 에이전트 상호작용의 복잡성을 줄이고, 반복되는 오류 발생 가능성을 낮출 수 있습니다. 이러한 사전 예방적 접근 방식은 더욱 견고하고 자가 수정 가능한 AI 시스템을 구축하는 것을 목표로 합니다.

AI 에이전트 개발 문제에 접근하는 가장 효과적인 방법은 더 나은 아키텍처와 데이터 구조 선택을 통해서입니다. 테오(Theo)는 "항상 할 수 있는 최선은 더 나은 아키텍처 또는 데이터 구조 선택을 통해 문제를 완전히 제거하는 것"이라고 단언합니다. tRPC 또는 Convex와 같은 도구를 사용하여 타입 안정성을 구현하면 잠재적인 실패의 전체 범주를 제거할 수 있습니다. 인간 기여에 최적화된 코드베이스는 AI에도 무심코 더 좋으며, 기술적 복잡성이 줄어들면 AI 실수의 발생 가능성이 자연스럽게 감소합니다. 이러한 사전 예방적 설계 접근 방식은 더욱 안정적이고 예측 가능한 환경을 조성하여 인간 개발자와 AI 에이전트 모두에게 이점을 제공합니다.

연사는 대규모 실제 스레드 샘플에 대해 테스트하기 위해 복잡한 CI 추가 기능을 생성하는 과정을 설명합니다. 중요한 요소는 최적화된 수준보다 30% 높은 대역폭 상한선을 설정하는 것입니다. 만약 어떤 변경 사항이 사용량을 이 상한선 이상으로 밀어붙이면, Pull Request(PR)는 자동으로 실패하고 개발자에게 통보됩니다. 이러한 사전 예방적 모니터링은 성능 회귀가 조기에 감지되어 AI 에이전트 운영의 효율성을 유지하도록 보장합니다.

공유 TypeScript 코드는 웹, Electron 및 모바일 애플리케이션 전반에 걸쳐 데이터 계층 일관성을 보장하여 변경을 훨씬 안전하게 만듭니다. 그러나 Swift UI 재작성은 이러한 공유 데이터 로직과의 분리를 초래할 위험이 있습니다. 테오(Theo)는 자신의 "Swift UI 앱이 해당 관계가 명확하게 인코딩되지 않아 퇴보했다"고 언급했습니다. 이러한 코드베이스 표류는 플랫폼별 실패 가능성을 증가시키며, 다양한 환경에서 오류를 피하기 위한 아키텍처 일관성의 중요성을 강조합니다.

테오(Theo)는 에이전트가 적절한 가치에 의해 안내될 때 자연스럽게 테스트 주도 개발(TDD)과 같은 관행으로 기울어진다고 설명합니다. 이러한 구분은 에이전트가 인간과 같은 절차적 순응을 강요당해서는 안 되지만, 윤리적이고 기능적인 가치를 주입하면 고유한 능력을 억압하지 않고도 원하는 결과에 맞춰 행동을 정렬할 수 있음을 시사합니다. 이 접근 방식은 AI의 모든 행동을 지시하기보다는 AI의 근본적인 원칙을 안내하는 데 중점을 둡니다.