안정적인 AI 에이전트를 위한 하네스 엔지니어링 활용

이러한 본질적인 제약은 AI 개발의 초점을 핵심 모델 수정에서 주변 아키텍처 개발로 전환합니다. '하네싱' 개념은 이러한 외부 구성 요소에 중점을 두어 모델 기능을 관리하고 확장하기 위한 프레임워크를 제공합니다.

이러한 초점은 AI 애플리케이션에 매우 중요합니다. 에이전트 하네스가 데이터 레이어와 깊이 통합되기 때문입니다. 이러한 통합을 통해 엔지니어는 기본 LLM의 고정된 특성에도 불구하고 AI 에이전트 동작을 효과적으로 제어할 수 있습니다.

AI 에이전트는 근본적으로 두 부분으로 구성됩니다. 추론을 처리하는 모델과 다른 모든 것을 포함하는 하네스입니다. 메모리, 도구, 인식과 같은 사용자 정의 가능한 구성 요소는 하네스 내에 있습니다. 이러한 아키텍처 분리는 제어 가능한 외부 구조를 제공하여 본질적으로 비결정적인 모델에 결정론을 도입하는 것을 목표로 합니다.

LLM에 동일한 입력을 제공하면 종종 다른 결과가 발생하여 일관된 성능을 얻기 어렵습니다. 하네스 엔지니어링은 신뢰성과 반복성을 강화하는 메커니즘을 구현하여 실제 애플리케이션에서 AI 에이전트를 더욱 신뢰할 수 있게 만듭니다.

이 기능은 AI 에이전트와 엔지니어 모두에게 반복되는 문제를 단순화합니다. 단기, 장기 및 공유 메모리를 포함한 다양한 메모리 구성 요소를 통합하여 포괄적인 정보 관리를 용이하게 합니다.

일부에서는 더 큰 컨텍스트 창을 옹호하지만, 이는 본질적으로 단기 기억이며 상당한 제한을 가지고 있습니다. 정보가 추가될수록 모델은 '컨텍스트 로트'를 경험하여 집중력을 잃고 성능이 저하됩니다. 또한 신경망 내의 어텐션 행렬은 컨텍스트 창 크기에 따라 2차적으로 확장되어 계산 복잡성과 리소스 요구 사항이 크게 증가합니다. 따라서 높은 모델 성능을 유지하고 이러한 문제를 피하려면 컨텍스트 창을 가능한 한 작게 유지하는 것이 중요합니다.

AI 엔지니어는 종종 컨텍스트 압축 및 요약과 관련된 수동 결정으로 인해 인지 부하가 가중됩니다. 오라클 에이전트 메모리 패키지(OAMP)는 복잡한 메모리 관리 작업을 자동화하여 엔지니어가 한 줄의 코드로 메모리 로직을 처리할 수 있도록 함으로써 이를 해결합니다. OAMP는 사실, 선호도 및 최근 메시지를 관리하여 관련 로컬 컨텍스트를 제공하고 개발을 단순화하며 에이전트 효율성을 향상시킵니다.

메모리 구조는 AI 모델 자체에 직접 내장되지 않고, 엔지니어가 개발한 하네스 또는 추상화 계층으로 작동합니다. 이 접근 방식은 개발자가 사전 훈련된 모델의 내부 작동에 대해 제어할 수 없는 경우가 많기 때문에 매우 중요합니다. 위에 추상화를 구축함으로써 엔지니어는 모델의 신뢰성을 제어하고 모델의 내부가 불투명하더라도 일관된 성능을 보장할 수 있습니다.

의미 계층은 조직 내에서 비명시적인 기관 지식을 포착하는 데 중요한 역할을 합니다. 여기에는 데이터 모델링, 메타데이터 및 실행 논리와 같은 중요한 요소가 포함됩니다. 이러한 계층은 본질적으로 AI 에이전트가 기업의 집단 지혜와 특정 운영 컨텍스트를 이해하고 활용할 수 있도록 하는 기본 '벨벳' 역할을 합니다.

툴박스 및 스킬박스와 같은 패턴은 에이전트가 사용 가능한 도구 및 기술을 효율적으로 저장하고 검색하도록 설계되었습니다. 주요 목표는 모델의 작업 메모리에 필요할 때 가장 관련성 높은 컨텍스트만 정확하게 주입하는 것입니다. 이 전략은 실행 중 컨텍스트 창에서 불필요한 혼란을 크게 줄여 효율성과 집중력을 향상시킵니다.

지속적 학습은 전체 모델 재훈련 없이 에이전트의 동작을 조정하는 것을 목표로 합니다. 이는 비용이 많이 들고 리소스 집약적인 프로세스일 수 있습니다. 초점은 지속적인 개선을 위한 가장 저렴하고 현실적인 방법으로 '컨텍스트 및 토큰 공간'을 활용하는 것입니다. 스킬 프로모션과 같은 기술을 포함하는 이 접근 방식은 에이전트 워크플로우 및 기능의 반복적인 개선을 가능하게 합니다.

이 방법을 통해 사용자 선호도, 특정 라이브러리 사용법 및 원하는 톤을 반영하는 업데이트를 허용하여 에이전트의 동작이 진화하는 요구 사항에 부합하도록 보장합니다. 이러한 정제를 통해 맞춤형 에이전트 동작의 장기적인 개선이 가능해져 더욱 효과적이고 맞춤화됩니다.

Google, Meta, OpenAI 및 XAI와 같은 주요 플레이어와의 파트너십을 통해 오라클은 관리형 서버를 통해 해당 모델에 대한 원활한 추론을 가능하게 합니다. 이 서비스는 다양한 LLM 기능에 대한 액세스를 간소화하여 기업의 통합을 단순화합니다.

툴박스 패턴은 도구 검색을 거의 무시할 수 있는 수준으로 최적화하여 대규모 조직에서 수천 개의 도구를 관리하기 위한 솔루션을 제공합니다. 이는 파일을 사용하는 대신 데이터베이스에 직접 인덱스를 저장하는 그래프 기반 구조인 계층적 탐색 가능한 작은 세상(HNSW) 인덱스를 사용합니다. 이 접근 방식은 벡터 저장소 사용에 의존하므로 규모에 관계없이 효율적인 쿼리를 가능하게 하여 방대한 데이터 세트에서도 도구에 빠르게 액세스할 수 있도록 합니다.

도구 설명이 너무 유사할 때 모호성을 해결하기 위해 툴박스 패턴은 LLM을 사용하여 향상된 설명을 생성합니다. 이 방법은 벡터 검색 중 도구의 분리성을 크게 증가시켜 도구 선택의 정밀도를 향상시킵니다. 효과가 떨어지는 수동 또는 엔티티 인식과 같은 단순한 접근 방식을 대체하여 더욱 정확하고 상황에 맞는 도구 검색을 가능하게 합니다.

오케스트레이터는 특정 쿼리를 가장 적절하고 토큰 효율적인 모델로 라우팅합니다. 이 접근 방식은 특수 작업에 대한 토큰 소비 및 계산 비용을 크게 줄여 더 효율적이고 비용 효율적인 AI 에이전트 하네스를 목표로 합니다.