하니스의 재발견: AI 성능 극대화 전략

하니스는 한동안 단순한 프롬프트 엔지니어링이나 래퍼로 여겨지며 연구 가치가 낮게 평가되었다. 그러나 하니스의 개선이 모델 성능에 미치는 실질적인 영향력이 입증되면서 이러한 인식이 변화하고 있다. 하니스 버전 1에서 버전 2로의 전환만으로도 성능이 18% 향상되었으며, 이는 아케이드 AI의 성공 여부를 결정짓는 중요한 요소로 작용했다.

이는 하니스가 모델의 특정 작업을 보조하는 단순한 도구가 아니라, 모델의 잠재력을 최대한 끌어내고 실제 문제 해결 능력을 향상시키는 핵심적인 연구 분야임을 시사한다.

모델이 특정 테스트 환경에서는 높은 성능을 보일지라도, 새로운 도메인이나 예측 불가능한 상황에 직면했을 때 빠르게 적응하지 못하는 문제가 발생한다.

이는 모델이 많은 테스트 경험을 통해 지능을 '측정'할 수 있지만, 실제 세계의 다양한 환경에 대한 '적응' 능력은 별개의 문제임을 보여준다. 따라서 실제 활용 환경에서의 성능 향상을 위해서는 모델의 적응력 강화에 초점을 맞춘 연구가 필요하다.

클로드 오푸스(Claude Opus)의 ARC-AGI 테스트 사례는 하니스가 모델 성능에 미치는 영향을 극명하게 보여준다. 초기 테스트에서 30%에 불과했던 모델 성능은 단순한 래퍼와 스캐폴딩 같은 하니스를 적용하는 것만으로 95%까지 향상될 수 있었다. 나아가 엔비디아의 AVO(Agentic Voice Over)는 100%의 성능을 달성하기도 했다.

이러한 결과는 하니스 연구가 모델의 근본적인 가중치 수정 없이도 기존 모델의 성능을 비약적으로 끌어올릴 수 있는 강력한 방법론임을 입증한다.

이 시스템은 목적 지정, 범위 지정, 연구 및 검증 에이전트 등 여러 에이전트가 각자의 역할을 분담하여 협력하는 방식으로 작동한다. 사용자는 몇 가지 초기 아이디어(씨앗 아이디어)를 제공하면, 에이전트들이 이를 바탕으로 자체적인 연구를 진행하고 결과를 도출한다.

각 에이전트는 특화된 기능을 수행하며, 예를 들어 목적 에이전트는 전체 연구의 방향을 설정하고, 범위 지정 에이전트는 연구의 한계를 정의한다. 이후 연구 에이전트가 H100 노드와 같은 고성능 컴퓨팅 자원을 활용하여 실제 실험을 수행하고, 검증 에이전트는 결과의 신뢰성을 확인한다.

이러한 다중 에이전트 시스템은 인간 연구자가 개입하지 않고도 실질적인 연구 성과를 창출하고 논문 초안을 작성하는 수준까지 발전할 수 있음을 보여준다.

Voyager 논문은 AI 에이전트의 '스킬(Skill)' 개념을 확립하는 데 중요한 기여를 했다. 이 연구는 마인크래프트 환경에서 에이전트가 특정 작업을 수행한 후, 그 과정에서 습득한 기술을 시스템 프롬프트로 추출하여 영구적으로 학습하는 방식을 구현했다.

이를 통해 에이전트는 한 번 배운 스킬을 반복적으로 활용하고, 새로운 작업을 만났을 때 기존 스킬을 조합하여 더욱 복잡한 문제를 해결할 수 있게 된다. 다만, 스킬과 도구 호출(API) 간의 경계가 모호하다는 의문은 여전히 남아 있다.

다중 에이전트 시스템에서는 서로 다른 역할을 가진 여러 에이전트가 협력하여 결과물을 개선한다. 이들은 문맥을 스스로 개선하도록 돕는 자기 성찰 메커니즘을 갖추고 있어, 더욱 똑똑하고 효율적으로 작동할 수 있다. 에이전트들은 내부 평가자를 통해 자신들의 작업 결과물을 평가하고, 성찰 단계를 거쳐 오류를 수정하거나 성능을 향상시킨다.

이러한 상호 평가와 피드백 루프는 에이전트 시스템이 지속적으로 학습하고 진화하며, 인간의 개입 없이도 더욱 정교한 결과물을 도출할 수 있도록 하는 핵심 요소이다.

초기 형태의 하니스, 즉 하니스 V1은 근본적인 한계를 지니고 있었다. 이 시스템은 시스템 프롬프트나 하니스 자체를 업데이트하거나 개선할 수 없는 정적인 구조였다. 에이전트의 사양이나 도구 목록 등이 모두 고정된 설정에 의존했기 때문에, 변화하는 환경이나 새로운 요구사항에 유연하게 대응하기 어려웠다.

이는 한 번 설정된 하니스가 스스로 진화하거나 최적화될 수 없음을 의미하며, 결과적으로 에이전트의 잠재력을 완전히 발휘하는 데 제약을 가했다.

이 메타 하니스는 에이전트가 자신의 하니스를 직접 수정하고, 이를 통해 다른 형태의 하니스로 변모할 수 있도록 하는 기능을 제공한다. 즉, 하니스 스스로가 더 나은 하니스를 생성하는 주된 목적을 가진다.

이러한 접근 방식은 에이전트가 환경 변화에 더욱 유연하게 대응하고, 지속적으로 성능을 최적화할 수 있는 자율적인 학습 및 개선 루프를 가능하게 한다.

테스트 타임 학습(Test-time learning)은 AI 모델의 지속적인 성능 향상을 위해 반드시 연구해야 할 중요한 방향으로 부상하고 있다. 이는 Dagger 스타일의 온라인 학습을 활용하여, 모델이 테스트를 수행하는 동안 방금 학습한 소량의 예제를 기반으로 LLM(대규모 언어 모델)의 가중치를 직접 업데이트하는 방식이다.

기존의 정적인 모델 학습 방식과 달리, 테스트 타임 학습은 모델이 실시간으로 새로운 정보를 통합하고 적응할 수 있도록 함으로써, 예측 불가능한 상황이나 급변하는 환경에서도 높은 성능을 유지할 수 있게 한다.

이러한 접근 방식은 모델이 새로운 도메인에 빠르게 적응하고, 지속적으로 최적의 상태를 유지하도록 돕는 핵심 기술로 평가된다.

LLM의 효율적인 컨텍스트 관리를 위해 L1, L2, L3와 같은 캐시 계층 전략이 중요하게 부상하고 있다. 이 전략은 모델 가중치, 활성 컨텍스트, 외부 메모리 간에 계층을 구분하여 데이터를 효율적으로 저장하고 접근하는 방식이다. 이를 통해 모델은 필요한 정보를 더 빠르게 찾고 처리할 수 있게 된다.

특히 파인 튜닝(Fine-tuning) 비용을 절감하기 위한 컨텍스트 압축 전략은 모델의 메모리 사용량을 최적화하고, 학습 효율성을 높이는 데 기여한다. 이는 제한된 자원 내에서 LLM의 성능을 극대화하는 데 필수적인 요소이다.

캐시 계층 전략은 LLM이 방대한 정보를 처리하고 장기적인 대화를 유지하는 데 있어 핵심적인 역할을 하며, 궁극적으로는 더욱 지능적이고 유연한 AI 시스템 구축을 가능하게 한다.

YC의 에이전트 프로젝트는 2025년 1월 '범용 에이전트'라는 이름으로 시작되었다. 초기에는 도구 사용 루프 형태의 시스템 프롬프트에 불과한 간단한 방식이었다. 그러나 2025년 6월에는 엔지니어들 사이에서 클로드 코드(Claude Code)와 코덱스(Codex) 활용이 확산되면서 에이전트의 기능이 크게 확장되었다.

이후 에이전트는 슬랙과 연동되고 VM(가상 머신) 환경에서 구동될 수 있도록 발전하여, 사용자 접근성과 활용도를 높였다.

이 에이전트들은 분명 유용했지만, 사용자들이 제대로 활용하기 위해서는 상당한 설정이 필요했으며, 시스템 무리를 관리하는 것 자체가 어려웠다. 마치 '두더지 잡기' 게임처럼 개별 VM에 SSH로 접속하여 문제를 해결해야 하는 상황이 빈번했다.

에이전트 개별 인스턴스를 수정하는 데에도 상당한 시간이 소요되어 전체 시스템의 효율성을 저해하는 요인이 되었다.

개별 에이전트 관리의 복잡성을 해결하기 위해 YC는 아키텍처를 중앙 집중형 시스템으로 전환했다. 모든 에이전트 대화 내용과 컨텍스트를 Postgres 데이터베이스로 옮겨 중앙에서 관리하는 방식을 채택했다.

이는 샌드박스를 에이전트의 '거주 공간'이 아닌, 필요할 때 활용하는 '자원'으로 재정의하는 패러다임의 변화를 가져왔다. 개별 머신 관리가 아닌 중앙 집중형 관리를 통해 시스템 전반의 컨텍스트를 에이전트 자신에게 노출하여 효율성을 높였다.

이는 에이전트가 스스로 학습하고 성능을 향상시키도록 돕는 과정이다.

그러나 이러한 시도의 결과는 다소 엇갈렸다. 에이전트들이 시스템 전체를 보지 못하고 자신의 작은 부분에만 집중하는 이른바 '주인공 증후군'에 빠지는 현상이 발생했기 때문이다. 이로 인해 에이전트가 전체 시스템의 맥락을 고려하지 않고 특정 부분만 수정하여 오히려 비효율을 초래하기도 했다.

따라서 시스템을 완전 자동화하기 전 단계에서는 인간의 개입이 필수적임이 확인되었다. 인간은 에이전트의 '주인공 증후군'을 보완하고, 전체 시스템의 최적화를 위한 지침과 피드백을 제공하는 역할을 해야 한다.

이러한 경험은 AI 에이전트 시스템의 개발에 있어 자동화된 개선 루프와 인간의 지능적인 개입 사이의 균형을 찾는 것이 중요함을 시사한다.

에이전트가 주어진 작업을 쉽게 포기하는 문제를 해결하기 위해 YC는 '그라인드 툴(grind tool)'이라는 목표 예산 설정 방식을 도입했다. 이 도구는 에이전트가 일정 시간, 예를 들어 몇 시간이나 특정 토큰 사용량에 도달하기 전까지는 작업을 포기하지 못하도록 강제한다.

이는 OpenAI나 Anthropic과 같은 선두 기업들이 난제를 해결하기 위해 사용하는 기법과 유사하다. 그라인드 툴을 통해 에이전트는 설정된 목표에 도달할 때까지 끊임없이 시도하고 개선함으로써, 작업 완료율을 높이고 더욱 견고한 시스템을 구축할 수 있다.

에이전트 시스템을 운용하는 데 있어 또 다른 중요한 문제는 에이전트가 사회적 맥락을 전혀 이해하지 못한다는 점이다. 인간은 어떤 정보를 어디까지 공유해도 되는지에 대한 직관적인 판단과 정신적 틀을 가지고 있지만, 에이전트에게 이러한 능력을 구현하는 것은 상당한 노력이 필요하다.

이는 정보 유출을 방지하기 위해 에이전트의 지식 범위를 권한 시스템과 세밀하게 연동해야 함을 의미한다. YC는 이미 세밀한 권한 설정 시스템을 갖추고 있어 에이전트 운용에 유리한 조건을 가지고 있지만, 여전히 에이전트가 사회적 민감성을 학습하고 적절한 정보 공유를 수행하도록 만드는 것은 복잡한 과제로 남아 있다.