컨텍스트를 건드리지 않는 쪽이 이겼다 — Towards AI의 11개 프리셋 실험

Louis-François Bouchard는 AI 엔지니어들이 겪는 흔한 실패를 이렇게 짚었다. 결과가 나빠질 때 사람들은 모델 자체가 멍청해졌다고 판단하고 Claude나 Codex, 혹은 쓰던 하네스를 바꾸는 쪽으로 움직인다는 것이다.

그의 진단은 다르다. 컨텍스트가 차오르면서 결과가 점점 나빠지고 있다는 것이다. Towards AI는 AI 엔지니어 대상 과정과 트레이닝을 만들고 AI 튜터를 운영하는데, 상호작용 하나가 잘못되면 환불 요청으로 이어질 수 있는 자리라 이 문제가 곧 사업 문제이기도 하다.

Bouchard는 발표에 띄운 QR 코드가 모든 실험을 볼 수 있는 Hugging Face 스페이스로 연결된다고 안내했다. 실험 결과 자체뿐 아니라 그 실험을 돌린 AI 튜터도 같은 페이지에서 열어볼 수 있다.

튜터는 오픈소스로 공개돼 있고 저장소 링크도 같은 Hugging Face 페이지에 걸려 있다. 발표자는 실험들을 온라인에서 직접 보고 튜터도 온라인에서 써볼 수 있다고 덧붙였다.

첫째는 답변이 모델 자체 지식이 아니라 보유 콘텐츠에 근거해야 한다는 것이다.

둘째는 범위 제한이다. 여러 과정을 운영하는 만큼 현재 학생과 현재 레슨에 맞춰, 이 과정의 콘텐츠에서 답해야 한다.

셋째는 디버깅이나 반복 작업을 하는 학생을 위해 긴 도움 세션을 유지하는 능력이다. 넷째는 대상이 AI 엔지니어인 만큼 코드를 다뤄야 한다는 요구다.

다섯째는 사용이 답답하지 않도록 어느 정도 낮은 지연 시간을 유지하는 것이다. Bouchard는 이 다섯 요구사항이 전부 컨텍스트 엔지니어링과 관련돼 있다고 말했다.

실험에서 가장 큰 영향을 낸 기법은 선택적 보존(selective retention)이었다. 언어 모델이 논의가 어디로 흘러가는지에 따라 무엇을 남기고 무엇을 버릴지 스스로 결정하는 방식이다. 그다음이 이전 턴을 계속 요약하는, 가장 단순한 형태의 요약이었다.

Claude Code 패턴으로 소개된 것은 한계에 도달했을 때 전체를 요약하고 그 요약만 갖고 완전히 리셋하는 방식이다. 델타 요약은 요약을 하나 유지하면서 시간에 따라 새로 만들어지는 요약에 기반해 갱신하는 방식으로, 서브 에이전트를 띄울 때 쓰여 그 결과를 메인 에이전트에 넘긴다.

다만 튜터에는 서브 에이전트를 쓰지 않는다. 메인 에이전트 하나로 잘 작동하고, 복잡도를 더하고 싶지 않았다는 것이 이유다. 오프로딩 수단으로는 최근 인기가 높은 메모리와 스킬, 그리고 수년째 자리 잡은 검색 증강 생성(RAG)이 언급됐다.

압축은 더 많은 토큰을 절약하기 위해 토큰을 쓰는 작업으로 규정된다. 큰 모델이 필요하지도 않아, 맥북 한 대에서 도는 작은 로컬 모델로도 여러 기법을 돌릴 수 있다는 설명이다.

발표에서 따로 언급하지 않은 경우에도 그래프 RAG와 일반 RAG를 비교했고, 가장 좋은 결과만 추려 보여줬다. 팀의 사례에서 그래프 RAG는 셋업 비용이 훨씬 많이 들고 결과는 동률이었다.

동률 판정의 근거는 실제 사용자 평가였다. 이 비교는 사실상 100% 실제 사용자 평가에 기반해 이뤄졌다고 발표자는 밝혔다. 그래서 팀에는 그래프 RAG가 필요하지 않았다.

다만 가능성은 열어둔다. 관계와 상호 연결된 주제를 가진 아주 큰 데이터셋을 다룬다면 구현할 가치가 있을 수 있으니, 각자 자기 사례로 시험해보라는 것이 그의 권고다.

Bouchard는 요약이 잠재적 함정이라고 규정했다. 아예 쓰지 않거나, 아주 특정한 경우에만 써야 한다는 것이다. 그리고 가장 진지한 하네스들이 지금 그렇게 하고 있다고 덧붙였다.

Claude Code, Codex 등이 컨텍스트 캐싱을 쓰면서 동시에 다른 압축 방식을 쓴다는 것이 그의 설명이다. 이 정보의 출처로는 유출된 자료, 오픈소스인 Codex, 그리고 API가 컨텍스트와 캐싱을 직접 관리하는 방법을 제공한다는 점을 들었다.

팀이 찾아낸 최선의 지침은 이렇다. 사용자가 완전히 다른 주제를 꺼내는 것 같으면 세션을 새로 고치거나 비우고, 점진적 공개(progressive disclosure)로 가능한 한 적은 컨텍스트만 보여주며, 오래된 툴 출력을 비운다.

여기에 캐시 적중을 최적화하는 것이 더해진다. 모델이 캐시를 쓸 수 있게 하는 것만으로도 효과가 있다. 공급자들이 캐시 관리 기능을 계속 개선하고 있어 API가 허용하는 방식을 따라가며 최신 상태를 유지해야 하고, 제공 방식은 업체마다 다르다. 프롬프트 캐싱을 다룬 권장 아티클은 발표 자료의 6~7번째 슬라이드 근처에 링크돼 있다.

Bouchard는 무엇보다 중요한데 대다수가 하지 않는 것으로 '전부 로깅'을 꼽았다. Claude에게 OpenTelemetry를 구현해 전부 추적하게 시키면 되니 할 일이 없다는 것이다.

이렇게 하면 캐시 적중률과 사용자 불만을 추적할 수 있다. Claude가 이런 기능을 제공하며, 발표자 본인도 불만족스러울 때 이를 알린다고 말했다.

비정상적으로 긴 출력이나 이상 행동을 로깅해 작은 언어 모델이 탐지하게 하는 방법도 제안됐다. 컨텍스트 엔지니어링에 대해서는 매 호출마다 모델이 무엇을 보는지 결정하는 일로 정의했다.

AI 튜터의 경우에는 캐싱을 최적화하기 위해 컨텍스트 윈도에 무엇을 남기고, 무엇을 언제 버리거나 압축할지를 결정하는 문제가 된다.

Omar Solano는 코퍼스가 지난 2년간 만든 과정의 전체 레슨과 LangChain, LlamaIndex, OpenAI, Claude Code의 문서로 구성돼 있으며, 800만 토큰을 넘는다고 밝혔다.

이 규모는 단일 컨텍스트 윈도에 넣을 수 없어, 가장 중요하거나 관련성 높은 정보를 검색할 수 있는 형태로 저장해야 한다. 사용자는 미리 소스를 필터링해 재현율과 정밀도를 높인다.

검색은 Cohere 임베딩 모델과 BM25 키워드 인덱스를 결합한 하이브리드 방식으로, 상위 30개 청크를 가져온다. 의미론적 유사도와 키워드 검색 결과를 병합한 뒤 리랭킹해 상위 5개 청크를 에이전트에 돌려준다.

10만 토큰이라는 하드 리밋이 걸려 있고, 이를 넘으면 마지막 몇 개 청크가 제거된다. 이 구성은 지식베이스에서 올바른 페이지가 검색됐는지 측정하는 실험을 통해 정해졌다.

Solano에 따르면 세 개의 폴더는 오프라인에서 한 번 만들어지고, 이후 새 코스가 추가될 때마다 다시 만들어진다. Claude Code에 콘텐츠를 raw 폴더에 추가하고 그 주변으로 새 토픽을 만들라고 지시하는 방식이다.

한 번 배포해두면 에이전트가 현재 시스템 프롬프트로 그 폴더를 브라우징할 수 있다. 이 툴은 전체 턴의 약 90%에서 쓰이는데, 이 사용률은 더 적게 또는 더 많이 쓰이도록 조정할 수 있다. 팀이 그 비율을 목표로 최적화한 것은 아니다. 다음 주제로 이 툴의 정밀도와 재현율 측정이 예고됐다.

Solano에 따르면 초기 설정은 출력 토큰 5,000개를 기준으로 정리하되 최소 마지막 다섯 개는 유지하는 구조였다. 30,000 토큰을 넘으면 이력을 요약하면서 최소 마지막 20개 메시지를 남기는 식이었다.

세 번째 설정은 사용자가 튜터가 참고할 소스를 직접 고르는 것이었다. 이 값들을 팀은 '검증되지 않은 기본값'이라고 부른다. 빠르고 좋아 보여서, 아무것도 측정하지 않고 그냥 그렇게 정해뒀다는 것이다.

Solano는 이런 값들이 미검증 상태이며 실제로 무엇이 가장 잘 작동하는지 알고 싶다고 했다. 그래서 이 기본값들이 이후 실험에서 검증 대상이 된다.

Solano는 Bouchard가 보여준 기법들이 모두 아주 똑똑해 보여서 유용하다고 생각하기 쉽지만, 때로는 그렇지 않다고 말했다. 실험에서 이 기법들이 실은 해로울 수 있다는 것을 발견했다는 것이다. 원인으로 지목된 것은 토큰을 보낼 때 API가 토큰을 캐싱하는 방식이다.

팀은 무엇이 가장 좋은지 미리 알기가 어렵다고 본다. 그래서 측정이 필요하다는 논리로 이어진다.

이 대목은 앞서 Bouchard가 제시한 기법 목록과 정면으로 맞물린다. 같은 기법이 어떤 조건에서는 이득이고, API 캐싱이 걸린 조건에서는 손해가 될 수 있다는 것이다.

측정 없이 도입한 기법은 예상과 반대 방향으로 작동할 수 있다는 것이 팀의 판단이다.

Solano는 슬라이딩 윈도, 프롬프트 압축, 선택적 보존 등 6가지 기법을 같은 모델, 같은 프롬프트, 같은 툴, 같은 데이터셋으로 고정해 비교했다. 실험 비용이 500달러를 넘을 것으로는 예상하지 못했고, 이후 더 저렴한 모델로 후속 실험을 돌려야 했다.

결과에서 컨텍스트를 전혀 건드리지 않는 것이 여러 메시에 걸쳐 사실을 회수하는 최선의 전략으로 나왔다. 팀이 '충분히 좋다'고 믿었던 프로덕션 기본값은 최선이 아니었다.

실험은 1회 시행과 2회 시행 두 가지로 돌렸다. 시행 횟수가 적어 수치 자체보다 기법들이 표에서 어디에 놓였는지가 더 흥미롭다는 것이 발표자의 평가다.

사용된 모델은 Gemini 3.5이고 데이터셋은 11~13턴으로 크지 않다.

Samridhi Vaid는 튜터에 들어오는 컨텍스트가 하나가 아니라고 짚었다. 첫째는 긴 채팅 이력으로, 학생이 묻거나 이야기한 세부 사항이 파묻힐 수 있는 형태다.

둘째는 붙여넣은 문서다. 문서를 통째로 복사해 넣는 학생이 많아, 제한된 컨텍스트 윈도에 그것을 어떻게 맞출지가 문제가 된다.

셋째는 내부적으로 쓰는 툴들이 남기는 로그 뭉치다. Vaid는 이 컨텍스트들이 서로 성격이 달라 각각 다른 처방이 필요하다고 말했다.

그래서 팀은 보유한 모든 컨텍스트 종류에 대해 각각 평가를 돌려야 했다.

실험을 긴 문맥으로 확장했을 때, Vaid에 따르면 특정 세부 사실 하나를 뽑아내는 모델 성능이 매우 좋았다. 차트 상단의 초록 선이 모델이 찾아낸 구별되는 사실들을 나타낸다.

80만 토큰까지는 이 사실들을 놓치지 않았고 일관된 결과를 냈다. 다만 모호한 사실에서는 성능이 관찰치의 절반으로 떨어졌다.

AI 튜터 용도로는 이 결과가 매우 좋은 편이라고 Vaid는 평가했다. 압축 없이도 긴 대화를 잘 버틴다는 결론으로 이어진다.

Vaid는 로컬 모델도 캐싱되므로 같은 셋업이 통할지 확인하려 했다. 하드웨어 제약 때문에 맥북에서만 테스트할 수 있었고, 최대 문맥 창은 32K였다. 수업 자료 자체가 32K보다 컸다.

대화가 창에 들어가지 않으면 캐싱이 더 이상 도움이 되지 않았다. 7B, 8B에서 32B 모델로 키워봤지만, 모델 크기를 늘린다고 문맥 창이 늘지는 않는다는 결론에 도달했다.

Vaid는 결국 컨텍스트를 압축하거나 필요한 부분만 검색하는 선택지뿐이라고 정리했다. 길이를 늘리는 것으로는 문맥 창을 고칠 수 없다는 것이다.

그래서 하드웨어 한계가 걸린 이 환경에서는 압축이 선택이 아니라 강제가 된다.

메모리 설정에서 전체 대화를 유지하면 세부 정보의 약 95%를 회수했고, 요약하면 32%로 떨어졌다. 긴 문맥에서는 단일 사실 찾기가 80만 토큰까지 쉬웠고 컨텍스트 로트 현상은 없었다.

턴당 비용은 가장 싼 실행이 토큰을 가장 많이 보내는 쪽이었다. 캐싱이 같은 문맥을 다시 보내는 일을 싸게 만들어주기 때문이다. 규모 비용을 학생 1,000명으로 가정하면 Gemini는 월 약 40,000달러, DeepSeek는 약 1,900달러가 나온다.

최종 결정은 하드웨어 한계와 현재 학생 규모를 고려해 클라우드의 DeepSeek V4 Flash를 선택하고, 그 위에 하이브리드 검색을 얹는 것이다. 메모리는 전부 유지하되 30K 토큰 이후에 압축이 일어나는 기본 한도를 둔다.

Vaid의 정리는 기본값으로 압축하지 말고, 자기 제약을 먼저 이름 붙인 뒤 더 나은 대안을 찾으라는 것이다.