AI 에이전트, 이제는 맥락 싸움

AI가 팀의 일원처럼 작동하려면 숙련된 팀원의 결과물처럼 느껴지도록 ‘맥락’을 이해하는 것이 중요하다. 브랜든 워셀럭은 AI가 생성한 코드가 마치 오랫동안 팀에서 일해온 사람이 작성한 것처럼 느껴져야 한다고 강조했다.

마치 사람이 출근 후 업무 경험을 통해 주변 환경과 업무 방식을 자연스럽게 익히는 것처럼, AI 또한 특정 업무 환경의 맥락을 스스로 구축해야 한다.

AI 에이전트는 뛰어난 지능을 가졌음에도, 새로운 터미널 세션을 생성할 때마다 회사의 운영 방식이나 배포 과정, 시스템 장애 이력 등 핵심적인 맥락 정보를 전혀 알지 못하게 초기화된다. 이는 에이전트가 단기 기억만 갖고 있는 것과 같다.

이러한 맥락 부재는 에이전트가 규모가 커질수록 잘못된 설정이나 불필요한 작업으로 이어져 막대한 비용을 누적시키게 된다. 브랜든 워셀럭은 에이전트가 매우 똑똑하지만, 회사 운영 방식에 대한 맥락을 전혀 가지고 있지 않다고 지적했다.

브랜든 워셀럭은 에이전트가 사람이 개입하지 않고 실행되는 상황이 점점 더 많아지거나, 적어도 사람이 개입하지 않아도 되는 상황이 된다고 언급했다.

이는 에이전트가 단순히 코드를 생성하는 것을 넘어, 실제 수익을 창출하는 기존 코드 베이스에서 독립적으로 작동하며 가치를 창출할 수 있어야 한다는 의미다.

소프트웨어 개발의 ‘시프트 레프트’ 원칙처럼, 컨텍스트 관리에서도 결함이나 버그를 최대한 빨리 발견하는 것이 중요하다. 브랜든 워셀럭은 결함이나 버그를 최대한 빨리 발견해야 하는 것처럼, 컨텍스트도 마찬가지라고 강조했다.

초기 단계에서 컨텍스트 오류를 수정하는 것이 후반부에 수정하는 것보다 훨씬 비용 효율적이며, 토큰 낭비와 반복적인 재작업을 방지할 수 있다.

마치 코드 리뷰어가 비즈니스 로직을 이해하는 것처럼, 컨텍스트 엔진은 AI에 비즈니스 맥락을 제공한다.

이 엔진은 에이전트가 복잡한 질문에 대한 답을 빠르게 찾고, 효율적으로 운영될 수 있도록 지원하는 핵심 인프라 역할을 한다.

수백 개의 대기업 및 중견 기업 고객과 협력하면서 흔히 발견되는 문제 중 하나는 ‘정리된 컨텍스트 함정’이다. 단순히 마크다운 파일에 정보를 저장하는 방식은 AI 에이전트에게 충분한 맥락을 제공하지 못한다. 브랜든 워셀럭은 이 함정을 가장 많이 발견한 두 가지 사례 중 하나로 꼽았다.

이러한 방식은 로컬 파일 시스템에 의존하게 되어 정보의 일관성과 접근성에 한계를 드러낸다. 따라서 정보가 단편적으로 흩어져 있거나 최신성이 떨어지는 문제가 발생한다.

동일한 모델에 동일한 프롬프트를 실행한 테스트에서, 컨텍스트를 적용한 경우와 적용하지 않은 경우를 비교한 결과, 놀라운 성능 향상이 있었다. 실제 작업 소요 시간이 2시간 단축되었으며, 토큰 사용량 또한 크게 줄었다.

컨텍스트를 적용하지 않았을 때는 2,100만 토큰이 사용된 반면, 적용 후에는 1,080만 토큰으로 절반 가까이 감소했다. 이는 불필요한 검색 토큰 사용을 줄여 분류 속도와 답변 품질을 동시에 개선한 결과다.

오픈 소스 도구는 결정론적 프로그래밍 방식을 활용하여 GitHub를 분석하고 팀 구성원을 파악한다. 이 도구는 각 팀원의 코드 커밋 및 검토 이력을 시각화하여 비즈니스 상황에 대한 완벽한 이해를 돕는다.

전문가 활동 그래프를 통해 팀 내 각 전문가의 활동을 명확하게 파악할 수 있으며, OpenAI 및 Anthropic API 키 연동을 통해 팀 라벨링을 지원하여 협업 가시성을 극대화한다.

리포지토리 규칙 에이전트는 리포지토리 내의 모든 규칙 파일을 찾아 팀 내 규칙의 위치와 심각도를 검사한다. 이 도구는 중복된 이슈나 기타 문제점을 효과적으로 알려준다.

탐지된 정보를 기반으로 검색 엔진에서 인덱스로 활용함으로써, 해당 인덱스를 호출하고 중복을 제거하여 컨텍스트 검색 성능을 크게 향상시킬 수 있다.

RAG(Retrieval-Augmented Generation)는 유용한 기술이지만, 복잡한 관계형 데이터 쿼리에는 한계가 있다. 예를 들어, “지난주에 제가 작업한 인증 관련 PR이 무엇인지”와 같은 질문에는 RAG만으로는 답하기 어렵다.

이러한 문제를 해결하기 위해 에이전트가 스키마를 발견하고 결정론적으로 쿼리를 작성하여 관계형 데이터를 가져올 수 있도록 하는 스키마 리스 조회 방법론이 제시된다. 실습을 위해 6개의 PR을 포함한 워크북이 제공되어 사용자가 직접 체험해 볼 수 있도록 했다.

컨텍스트 엔진은 비즈니스 전반에 걸쳐 즉각적인 성과를 가져온다. 고객 성공 담당자는 고객 문의를 받는 즉시 티켓을 해결하여 고객 만족도를 높이고, 영업 담당자는 Unblocked 컨텍스트 엔진을 실시간으로 조회하여 분기 초에 계약을 성사시키는 데 기여한다.

이는 LLM(Large Language Model) 역량 강화를 위한 도구(readiness.dock.unblock.com) 제공을 통해 더욱 가속화된다. 실시간 정보 접근이 비즈니스 효율성과 매출 증대로 직결됨을 보여준다.

현대 AI 경쟁력의 핵심은 더 이상 모델의 지능 자체가 아니라, 이 모델들을 조직 내에서 얼마나 효과적이고 효율적으로 활용할 수 있는지에 달려 있다. 브랜든 워셀럭은 이제 문제는 지능이 아니라 컨텍스트이며, 중요한 건 이러한 모델들을 조직 내에서 효과적이고 효율적으로 활용하기 위해 어떤 맥락에서 적용하느냐라고 강조했다.

조직 내에서 AI 모델의 활용 효율성을 극대화하기 위해서는 상황에 맞는 정확한 컨텍스트 적용이 필수적이다. 추가적인 정보와 상담을 위해 부스 상담이 안내되었다.