대규모 언어 모델의 지식 차단 격차
이러한 지속적인 지연은 코딩 에이전트에게 '사각지대'를 만들어 새로운 코드 리포지토리 또는 기존 리포지토리의 최근 중요한 업데이트에 대한 중요한 정보에 접근하지 못하게 합니다.
Hojsan은 GPT-4.5 차단 이후에 발생한 특정 풀 리퀘스트(PR)를 이 지식 격차 내에 있다고 언급하며, 에이전트 성능에 대한 이러한 제한의 실제 영향을 입증했습니다.
Exa의 Jakub Hojsan은 전문 검색 도구가 LLM 지식 차단을 극복하여 정확한 코드 검토를 수행하는 방법을 설명합니다.
이러한 지속적인 지연은 코딩 에이전트에게 '사각지대'를 만들어 새로운 코드 리포지토리 또는 기존 리포지토리의 최근 중요한 업데이트에 대한 중요한 정보에 접근하지 못하게 합니다.
Hojsan은 GPT-4.5 차단 이후에 발생한 특정 풀 리퀘스트(PR)를 이 지식 격차 내에 있다고 언급하며, 에이전트 성능에 대한 이러한 제한의 실제 영향을 입증했습니다.
LLM은 전문 검색 도구가 갖춰지지 않으면 종속성 리팩토링을 사소한 코드 정리로 오해하는 경우가 많아 최적화되지 않거나 잘못된 코드 검토로 이어집니다.
Exa의 솔루션은 의미론적 검색을 활용하여 에이전트에게 상황에 맞는 풍부한 스니펫을 제공하여 리포지토리 변경 로그에서 중대한 변경 사항 및 마이그레이션 세부 사항에 대한 심층 정보의 필요성을 직접적으로 해결합니다.
이 시스템은 방대한 100,000자 웹 페이지를 간결한 500자 하이라이트로 압축하여 LLM 성능을 최적화하고 모델이 가장 관련성 높은 정보만 받도록 보장합니다.
AI 에이전트에 검색 도구를 단순히 통합하는 것만으로는 충분하지 않습니다. 에이전트가 검색을 효과적으로 트리거하는 시기와 방법을 결정하기 위한 명시적인 규칙이 필요합니다.
예를 들어, 정의된 규칙은 코드 차이(diff)가 종속성 또는 버전 범프를 나타낼 때 코드 검토 에이전트에게 업스트림 소스를 참조하도록 지시하여 검토가 검증된 외부 정보에 기반하도록 보장할 수 있습니다.
효과적인 구현은 검색 조건('언제 검색할지')을 정의하는 것뿐만 아니라 가장 관련성 높은 데이터를 검색하기 위한 검색 실행을 조정하는 것도 포함합니다.
Exa의 전문 검색 도구는 네이티브 통합에 비해 향상된 투명성을 제공하여 쿼리, 정확한 소스 및 모델에 전달된 특정 하이라이트의 전체 추적을 제공합니다.
웹 페이지의 정보를 모델별 하이라이트로 추출하는 시스템의 능력은 토큰 효율성을 크게 향상시켜 LLM 입력 및 처리를 최적화합니다.
이러한 접근 방식은 또한 비용 효율성을 높이고 모델에 구애받지 않는 표준화를 제공하여 다양한 LLM 공급자에서 일관된 성능을 허용합니다.
Exa의 검색 API는 런타임에 웹 페이지에서 특정 줄을 추출하는 계산 프로세스로, LLM을 포함하지 않고 작동합니다.
이 방법은 합성 기반 접근 방식과 구별되어 검색 호출에 추가 대기 시간을 전혀 추가하지 않습니다.
전체 데이터 세트나 리포지토리를 LLM을 통해 전달할 필요 없이 원본에서 전기 또는 전화번호와 같은 정확한 데이터 포인트를 검색할 수 있습니다.
Cursor, Cognition, Warp 및 Code Rabbit과 같은 선도적인 코딩 도구 공급업체는 웹 검색 기능을 강화하기 위해 Exa를 채택했습니다.
Exa는 SimilarWeb, Particle 및 Crunchbase와 같은 전문 데이터 공급업체와 협력하는 새로운 제품인 Exa Agent를 출시했습니다.
이 서비스는 사모 시장 및 웹 분석에서 중요한 정보를 강조하여 금융 회사 및 헤지 펀드를 지원하도록 특별히 설계되었습니다.
Exa의 문서 검색 프로세스는 사용자 쿼리를 쿼리 임베딩으로 변환하는 다단계 시스템으로, 의미론적 검색과 함께 키워드 필터링을 위한 여러 단계를 포함합니다.
이 플랫폼은 가장 관련성 높은 정보를 사용자에게 효과적으로 우선순위를 매기고 제시하기 위해 정교한 다단계 재정렬 프로세스를 사용합니다.
Exa는 수십억 개의 문서 인덱스를 유지하며, 이는 단순한 원시 볼륨에 초점을 맞추기보다는 품질을 위해 세심하게 큐레이션됩니다.
사용자는 자연어로 원하는 속성을 정의하여 시스템이 요청된 특정 정보를 검색할 수 있도록 합니다.
이 기능은 검색 출력을 사용자 정의 요구 사항과 정확하게 일치시킴으로써 구조화된 데이터 추출 프로세스를 간소화합니다.
자막에서 근거가 되는 대목을 찾아 답합니다.
AI Engineer의 다음 글도 받아볼까요?
AI Engineer에 새 영상이 올라오면, 방금 읽으신 것처럼 정리해서 메일로 보내 드릴게요.
이 채널은 지난 7일 동안 25편 올렸어요.