AI 에이전트 검색에서 BM25의 예상치 못한 재부상

Hornet.dev의 CEO인 Jo Kristian Bergum은 20년 이상에 걸친 검색 및 검색 분야에서의 광범위한 경험을 소개하며 강연을 시작했습니다.

그는 에이전트 검색을 위한 BM25의 예상치 못하고 상당한 효과에 초점을 맞추어 발표의 핵심 전제를 설명했습니다.

그는 빠르게 진화하는 인공지능 환경에서 30년 된 어휘 점수 함수가 어떻게 높은 관련성과 성능을 유지하는지에 대한 흥미로운 역설을 강조했습니다.

기존의 일회성 쿼리와 달리 에이전트 검색은 지속적이고 반복적인 프로세스로 기능합니다.

이러한 지속적인 검색 메커니즘은 자율 에이전트가 복잡한 목표를 달성하기 위해 작업하는 동안 정보를 체계적으로 수집, 처리 및 개선할 수 있도록 합니다.

모델은 쿼리를 공식화하고 다양한 도구를 사용하여 정보와 상호 작용하는 데 능숙해야 합니다.

'하네스'는 일반적으로 도구 호출 또는 전용 코드 모드와 같은 메커니즘을 통해 모델에 검색 기능을 노출하여 원활한 통합을 보장합니다. 마지막으로, 고성능 검색 엔진은 수백만 또는 수십억 개의 문서에 걸쳐 작업을 확장하여 빠르고 정확한 결과를 제공하는 데 중요합니다.

이 알고리즘은 기본적으로 쿼리의 용어와 문서 내의 용어 간의 관련성을 계산하는 점수 함수입니다.

수십 년간의 후속 연구는 특히 K개의 가장 관련성 높은 문서를 효율적으로 찾는 것이 목표인 Top-K 검색 영역에서 성능을 최적화하고 가속화하는 데 전념했습니다.

LLM은 풍부한 일반 지식을 제공하여 더 효과적이고 정확한 검색 쿼리를 공식화할 수 있도록 합니다.

이러한 모델은 엔티티, 날짜 및 회사 이름에 대한 암묵적인 이해를 활용하여 검색 성능을 크게 향상시켜 BM25가 덜 유능한 사용자와 함께했을 때보다 더 효과적으로 만듭니다.

BrowseCom+는 심층 연구를 위해 설계된 특수 벤치마크로, 에이전트가 특정 정보를 검색하는 능력을 테스트하는 약 830개의 수수께끼 같은 질문으로 구성됩니다. 이 벤치마크는 105,000개의 방대한 웹 문서 코퍼스에서 작동합니다.

이 벤치마크는 일반적으로 인간 사용자가 10개의 파란색 링크 세트를 검토하는 데 초점을 맞춘 전통적인 정보 검색 평가에서 벗어나는 중요한 변화를 나타냅니다. 대신, 에이전트 평가는 에이전트가 목표를 달성하기 위해 여러 번의 반복적인 쿼리를 생성할 수 있음을 인정합니다.

현대 모델은 일반적으로 약 350,000개의 토큰을 처리할 때 품질 저하를 경험하기 시작합니다.

이러한 고유한 제한은 검색 시스템의 중요성을 강조하며, 이는 모델의 컨텍스트 창에 가장 관련성 높은 정보만 공급하여 정보 과부하를 방지하고 성능을 유지하는 데 필수적입니다.

그러나 모델이 해당 증거를 독립적으로 찾기 위해 검색 도구를 사용해야 할 때 정확도가 크게 떨어집니다.

검색 도구를 사용하여 질문에 답하는 모델의 능력을 측정하는 전반적인 종단 간 정확도는 두 가지 요소에 크게 의존합니다. 즉, 효과적인 쿼리를 공식화하는 모델의 숙련도와 검색 시스템 자체의 고유한 품질입니다.

이는 에이전트 검색 성능을 향상시키기 위해서는 추론 개선에만 집중하기보다는 LLM에 의한 검색 메커니즘 및 쿼리 생성을 강화하는 것이 가장 중요함을 시사합니다.

역사적으로 인간 사용자는 검색 엔진과 상호 작용할 때 매우 짧고 간단한 쿼리를 사용하는 경향이 있었습니다. 이와 대조적으로 GPT-5와 같은 고급 모델은 일반 지식을 활용하여 길고 복잡한 쿼리를 구성하는 '파워 유저'와 유사한 행동을 보여줍니다.

이러한 LLM은 방대한 양의 웹 검색 데이터에서 학습한 'site:' 및 특정 구문과 같은 정교한 구문 연산자를 효과적으로 사용할 수 있습니다. 에이전트는 관련 정보로 컨텍스트 창을 채우거나 작업에 대한 정확한 답변을 찾아내기 위해 쿼리를 점진적으로 개선하는 반복적인 검색 궤적에 참여합니다.

문서 길이와 내용의 다양한 특성을 고려하기 위해 BM25의 하이퍼파라미터를 적절하게 튜닝하는 것이 중요합니다. 상당한 정확도 향상은 종종 이러한 신중한 구성에 달려 있으며, 이는 제대로 구성되지 않은 BM25가 그 잠재력을 대표하지 않는다는 것을 의미합니다.

BM25는 이름, 우편번호, SKU와 같은 특정 엔티티의 정확한 일치에 독특한 이점을 제공하며, 이는 모든 토큰을 고정된 어휘로 인코딩하는 임베딩 모델에는 어려울 수 있습니다. 이러한 정확성은 정확한 데이터가 필요할 때 의미론적 표현의 한계를 피하는 데 도움이 됩니다.

또한 BM25는 대규모 임베딩 모델을 실행하는 것보다 계산 효율성이 높아 잠재적인 비용 절감으로 이어집니다. 또한 해석 가능성은 에이전트가 자체 검색 쿼리를 더 잘 이해하고 개선하는 데 도움이 되어 더 효과적이고 투명한 워크플로에 기여합니다.

이 방법은 수십억 개의 문서를 에이전트용 검색 엔진 결과 페이지(SERP)로 처리하여 검색의 어려움을 해결합니다.

시스템은 이러한 문서를 전통적인 파일 시스템과 유사한 동적 작업 공간으로 구성합니다. 이를 통해 에이전트는 방대한 양에 압도되지 않고 필요에 따라 정보를 탐색하고 검색하면서 대규모 코퍼스와 더 효과적으로 상호 작용할 수 있습니다.

이를 통해 모델은 특정 문서에 대한 더 광범위한 읽기가 필요한지 지능적으로 결정할 수 있습니다.

이 전략은 샌드박스 환경, 검색 도구 및 가상 파일 시스템(VFS) 기능을 결합하여 코딩 에이전트에서 발견되는 기존 기본 요소를 활용하여 정보 액세스 및 처리를 간소화합니다. 관련 없는 정보의 양을 최소화함으로써 에이전트는 더 효율적으로 작동할 수 있습니다.

에이전트 검색을 위한 현재 최적화 전략은 특히 코딩, bash 스크립팅 및 도구 활용과 같은 영역에서 대규모 언어 모델(LLM)의 기존 강점을 활용하도록 설계된 전술적 '해킹'으로 간주됩니다. 이 접근 방식은 LLM이 지속적으로 진화하고 있으며, 향후 모델 업데이트를 통해 종단 간 작업 성능이 크게 향상될 것으로 예상한다는 점을 인식합니다.

강력한 검색 인프라와 실행 샌드박스를 결합함으로써 현재 설정은 강력한 임시 솔루션 역할을 하며, 향후 발전을 쉽게 통합하고 궁극적으로 더욱 정교한 범용 인공지능(AGI) 기능을 목표로 시스템을 포지셔닝합니다.

이러한 고전적인 지표는 에이전트 워크플로의 동적 특성을 포착하지 못합니다.

에이전트는 단일 검색 결과 세트를 단순히 소비하는 것이 아니라, 이전 결과를 기반으로 쿼리를 반복적으로 재구성하고 복잡한 확장을 수행합니다. 따라서 에이전트의 성공은 인간 소비를 위해 설계된 정적 관련성 점수보다는 작업을 정확하게 완료하고 올바른 답변을 제공하는 능력으로 측정되어야 합니다.

Hornet은 에이전트 검색을 위한 기본 요소로 BM25에 투자하여 고도로 최적화되고 효율적인 구현을 이끌어냈습니다. 단일 노드에서 1억 개의 웹 문서를 포함하는 벤치마킹 테스트에서 Hornet은 다른 일반 BM25 엔진에 비해 우수한 성능을 보여주었습니다.

Hornet은 훨씬 더 높은 처리량과 감소된 대기 시간을 보여주며 구현의 효율성을 강조했습니다. 이 향상된 성능은 사용자에게 상당한 인프라 비용 절감으로 직접적으로 이어져 시장에서 매우 경쟁력 있는 솔루션이 됩니다.

주요 시사점은 에이전트의 고유한 일반 지식이 검색 작업에서 BM25 및 grep과 같은 도구의 효과를 크게 향상시킨다는 것입니다. BM25의 구현, 성능 및 최적 매개변수가 시스템마다 크게 다를 수 있음을 인식하는 것이 중요합니다.

BM25의 설명 가능성은 에이전트가 특정 결과가 검색되는 이유를 더 잘 이해할 수 있으므로 모델에 강력한 선택입니다. 또한 BM25의 문자 일치 기능과 grep의 패턴 일치 기능을 결합하면 에이전트 검색을 위한 매우 강력한 패러다임을 생성하여 정확하고 유연한 정보 검색을 모두 가능하게 합니다.