랭체인, 에이전트 개선은 데이터 마이닝 문제

그는 이 문제를 에이전트 중심 세계에서 데이터 마이닝이 갖는 중요성과 연결했다.

Vivek Trivedy는 에이전트를 시간이 지나면서 지속적으로 개선하기 위한 구체적인 레시피를 제시하겠다고 밝혔다. 이와 함께 대규모 트레이스 데이터에 이 레시피를 적용하면서 얻은 실제 경험과 통찰을 공유할 예정이다.

에이전트가 실제 세상에서 작동하며 그 결과로부터 피드백을 얻는 과정이 필수적이라는 설명이다. 그는 이를 통해 에이전트가 어떻게 기능하는지에 대한 귀중한 데이터를 수집할 수 있다고 덧붙였다.

Vivek Trivedy는 관측 가능성(observability)과 지속적 학습(continual learning)이 매우 밀접하게 연결되어 있다는 다소 과감한 주장을 펼쳤다. 그는 그 주된 이유로 환경에서 작동하는 에이전트가 트레이스 데이터를 생성한다는 점을 들었다. 에이전트와 인간의 지속적 학습 모두 세상에서 많은 일을 수행하고, 자신이 한 일을 성찰하며, 환경의 피드백에 대응하기 위해 자신의 정의, 지식 또는 기록 등을 업데이트해야 한다고 설명했다. 그는 지속적 학습을 추구하는 회사라면 트레이스 데이터가 필수적이며, 트레이스 데이터가 있다면 에이전트에 대한 지속적 학습을 시도할 수 있다고 결론지었다.

에이전트 세상에서는 프롬프트, 도구, 스킬, 후크, 미들웨어 등 다양한 요소가 복합적으로 작용하기 때문에, 코드를 읽는 것만으로는 에이전트의 동작을 정확히 예측하기 어렵다고 Vivek Trivedy는 지적했다. 그는 어떤 에이전트가 다른 에이전트를 호출하고 이러한 것들이 군집으로 오케스트레이션되는 상황에서, 인간이 특정 프롬프트 변경이 대규모 에이전트 행동에 미칠 영향을 추론하기는 매우 어렵다고 설명했다. 또한 이러한 예측의 어려움은 적용하는 다양한 도메인에 따라 달라진다고 덧붙였다.

Vivek Trivedy는 지난 4년간 ChatGPT 시대 이후로 인공지능 분야에서 결정론(determinism)이 자율성(autonomy)으로 대체되기 시작했다고 언급했다. 이러한 변화의 흐름 속에서, 에이전트가 환경에서 자율적으로 작동할 때에도 여전히 에이전트를 이해할 수 있는 새로운 도구와 시스템을 구축하는 것이 중요하다고 강조했다.

Vivek Trivedy는 에이전트가 수백만 토큰을 실행할 때, 예를 들어 첫 번째 압축 또는 두 번째 압축 이후에 정말로 성능이 저하되는지(바보가 되는지), 아니면 전혀 저하되지 않는지 같은 기술적인 질문에 주목했다. 그는 이러한 질문에 답하기 위해서는 실제로 에이전트의 트레이스(작동 기록)를 직접 분석해야 한다고 강조했다. 이를 통해 에이전트의 행동 변화와 성능 저하 여부를 구체적으로 파악할 수 있다고 설명했다.

Vivek Trivedy는 대규모 트레이스를 읽는 것이 엄청나게 비쌀 수 있다고 지적했다. 특히 수백만 개의 트레이스가 있고 각 트레이스당 수백만 개의 토큰이 있는 경우, 입력 토큰 비용과 트레이스 수, 각 트레이스의 평균 크기를 곱하면 천문학적인 비용이 발생한다고 설명했다. 또 다른 문제는 코딩 에이전트와 같이 매우 긴 상호작용을 하는 경우, Cloud Code나 Codex, 또는 딥 에이전트와 같은 상황에서 다른 에이전트로 그 트레이스를 읽을 수 없다는 점이다. 이는 컨텍스트가 메모리에 맞지 않기 때문이라고 설명했다. 따라서 해당 컨텍스트를 외부 객체처럼 다루고 쿼리할 수 있는 시스템을 개발해야 하며, 데이터를 효율적으로 마이닝할 에이전트를 구축해야 한다고 강조했다. 그는 단순히 데이터를 컨텍스트에 넣는 것만큼 간단하지 않으며, 이 방법을 잘 설명할 몇 가지 요령이 있다고 덧붙였다.

랭체인에서는 이제 모든 사용 사례에 대해 최첨단 모델에만 의존하지 않는다고 밝혔다. 그는 특정 작업을 수행하는 데 필요한 최소한의 지능 수준이 무엇인지 매우 의식하고 있으며, 현실적으로 Opus나 다른 고성능 모델로 시작하여 해당 작업이 가능한지 먼저 확인한다고 설명했다. 하지만 일단 그 기준점에 도달하면, 트레이스를 다시 살펴보고 오픈 모델을 사용하여 동일한 작업을 수행할 수 있을지 질문한다고 덧붙였다.

Vivek Trivedy는 랭체인이 하비(Harvey) 및 그들의 법률 벤치마크 연구실과 많은 작업을 수행했다고 언급했다. 이 작업의 핵심은 오픈 모델로 Opus와 같은 모델의 트레이스 판정 능력을 일치시킬 수 있는지 여부를 확인하는 것이었다. 그는 대략적으로 그 답이 '예'이며, 비용은 1단계 또는 2단계 정도 절감할 수 있다고 밝혔다. 이러한 목표를 달성하기 위해 여러 모델을 시도하고 많은 하네스 엔지니어링을 수행했다고 설명했다. 이 하네스 엔지니어링은 수많은 트레이스 데이터를 분석하여, 예를 들어 Opus가 특정 방식으로 추론하는 이유를 파악하고, 오픈 모델이 더 낮은 비용으로 동일한 지능 수준에 도달할 수 있도록 추가적인 지침을 제공하는 방식으로 이루어진다고 덧붙였다.

Vivek Trivedy는 많은 사람들이 미세 조정을 시작하고 있는 시점에서 중요한 경제적 결정을 언급했다. 이는 토큰 비용에서 하드웨어 비용으로 전환할 수 있다는 점인데, 그는 이것이 정말 큰 변화가 될 수 있다고 강조했다.

Vivek Trivedy는 사람들이 백만 토큰이 얼마인지에 익숙하지만, 자체 클러스터를 운영하는 비용에는 익숙하지 않다고 언급했다. 그러나 매우 높은 추론 워크로드의 경우, 클러스터를 직접 실행하는 것이 훨씬 저렴할 수 있다고 설명했다. 그는 클러스터에서 무제한 추론을 할 수 있고 토큰 비용에 대해 걱정할 필요가 없으므로, 필요 없을 때는 클러스터를 끌 수 있다는 점을 들어 결국 더 경제적일 것이라는 계산을 할 수 있다고 덧붙였다.

첫 번째는 '증류(distillation)와 미세 조정(fine-tuning)'이다. 예를 들어, GLM 5.2가 잘 작동하지만 9B 또는 13B 모델로 훨씬 저렴하게 실행할 수 있다고 판단될 때, GLM 5.2 실행에서 얻은 좋은 추적과 예시를 바탕으로 데이터 세트를 준비하고, 그 데이터 세트에서 작은 모델을 미세 조정하여 본질적으로 동작을 모방하는 방식이다. 그는 이러한 증류와 미세 조정을 통해 효율성을 높일 수 있다고 설명했다.

Vivek Trivedy는 여전히 인간의 개입이 필요하다는 점을 강조하며, 고객이 만족하는지 파악하고 에이전트가 무엇을 하는지 이해하는 것이 중요하다고 말했다. 하지만 수많은 추적 기록을 일일이 읽을 여유가 없기 때문에, 인간을 위한 콘텐츠를 준비하는 것이 오늘날에도 여전히 매우 가치 있는 일이라고 설명했다. 특히 법률 및 의료와 같은 고신뢰 영역에서는 어떤 인간이 이를 검토해야 하지만, 모든 것을 읽을 수는 없으므로, 그들이 모든 데이터를 쉽게 처리할 수 있도록 돕는 것이 중요하다고 덧붙였다.

그는 고전적인 기계 학습에서는 데이터 세트가 있었고, 그것을 데이터에 맞추려고 했다고 회상했다. 하지만 그가 '고전적인 기계 학습'이라고 부르는(비록 6년 전 일이지만) 현대 기계 학습에서 사용하는 동일한 원칙들이 이 에이전트 중심 세계에도 확실히 적용된다고 강조했다.

그는 우리의 주요 역할 중 일부가 좋은 적합 함수를 찾는 것이라고 강조했다. 이는 자동 연구와 같으며, OPD, OPSD, TrySFT와 같은 다양한 방법론에 대한 RL 분야에서 많은 훌륭한 작업이 이루어지고 있다고 언급했다. 또 다른 중요한 역할은 좋은 데이터를 찾는 것이라고 덧붙였다. 그는 이 두 가지를 합치면, 이것이 기본적으로 모든 팀이 에이전트를 더 좋게 만들기 위해 던져야 할 응용 또는 전반적인 연구 질문이라고 결론지었다.

Vivek Trivedy는 '오토리서치(auto research)'라는 용어가 나오기 전에도, 많은 연구자들이 에이전트가 자체적으로 트레이스를 읽고 실험을 제안하며 스스로 수정하려고 시도하는 연구를 진행했다고 언급했다. 이는 에이전트가 단순히 주어진 작업을 수행하는 것을 넘어, 자신의 행동을 분석하고 개선 방안을 능동적으로 모색하는 방향으로 발전하고 있음을 시사한다.

그는 에이전트를 개선하기 위해 무언가를 해야 한다면, 인간 라벨링이나 에이전트 실행을 통해 가능한 한 빨리 피드백을 수집하는 것이 가장 좋은 방법이라고 말했다. 하네스 엔지니어링은 2분 만에 피드백을 제공하므로 먼저 시도할 것을 권장했다. 하네스 엔지니어링의 한계에 도달하면 파인튜닝을 시도할 수 있지만, 많은 팀이 하네스 엔지니어링만으로도 고객의 사용 사례를 해결하며 만족하고 있다고 덧붙였다. 그는 랭체인이 하네스 엔지니어링을 먼저 시도하고, 그 한계를 돌파하기 위해 파인튜닝을 한 다음, 필요하면 다시 하네스 엔지니어링을 하는 '샌드위치' 방식을 권장한다고 설명했다.

Vivek Trivedy는 트레이스 마이닝이 '언덕 오르기(hill climb)' 신호를 제공한다고 설명하며, 에이전트가 있다면 트레이싱을 켜고 에이전트를 그 트레이스에 연결하기만 해도 에이전트가 무엇을 하는지 이해할 수 있는 가장 쉬운 방법이라고 강조했다. 그는 랭체인이 오픈 모델에 대해 매우 열정적이며, 사용자들이 오픈 모델을 미세 조정하도록 돕고 싶다고 밝혔다. 또한 이를 서비스로도 제공하고 있으며, 오픈 모델을 사용하여 모든 것을 더 똑똑하고 저렴하게 만드는 방법에 관심이 있다면 언제든지 대화하고 싶다고 덧붙였다.

그는 이전보다 더 많은 데이터를 생산할 시스템을 갖게 될 것이라는 점이 정말 멋지다고 언급했다. 이러한 변화 속에서, 대규모로 이 데이터를 관리하고 모든 에이전트를 개선하기 위한 흥미로운 연구 방향을 찾아야 한다고 강조했다.