Exa의 Will Bryk, 에이전트 웹용 검색 엔진에 대해 설명

예상되는 성장은 AI 검색 활동이 궁극적으로 현재 인간 수준의 1,000배에 달할 것이며, 검색 생태계를 근본적으로 변화시킬 것임을 나타냅니다.

이러한 극적인 증가는 AI 에이전트가 검색 결과의 주요 소비자가 되는 에이전트 중심 웹으로의 전환을 의미합니다. Will Bryk는 이 추세의 심오한 의미를 강조하며, 이것이 그의 발표에서 가장 중요한 시사점 중 하나라고 말했습니다.

Exa는 현재 5,000개 이상의 기업에 서비스를 제공하고 400,000명 이상의 개발자를 지원하며 다양한 분야에 걸쳐 광범위한 영향력을 보여주고 있습니다. 이 플랫폼은 코딩 도구부터 금융 애플리케이션에 이르는 다양한 AI 에이전트에 의해 활용됩니다.

예를 들어, Cursor와 같은 코딩 에이전트는 기술 문서를 가져오기 위해 Exa에 의존하며, HubSpot과 같은 GTM(Go-to-Market) 에이전트는 고품질 리드를 생성하는 데 활용합니다. 또한 Exa는 금융 부문에서 정밀한 금융 데이터 검색을 위해 널리 사용되어 다양한 산업에서의 다용성과 중요한 역할을 보여줍니다.

웹에 수조 개의 페이지가 존재하기 때문에 인간이 정보를 종합하는 것은 불가능한 일이 되었습니다.

그는 구글이 정확한 답변을 제공할 수 있는 진정한 데이터베이스라기보다는 '추천 엔진'처럼 기능한다고 주장합니다. 예를 들어, '줄무늬 없는 셔츠'를 검색하면 종종 정확하게 필터링된 정보 대신 추천 결과가 나와 정확한 데이터를 얻는 데 한계가 있음을 보여줍니다.

정확한 데이터베이스와 같은 결과에서 벗어나는 이러한 변화는 특정 정보를 찾는 사용자에게 상당한 문제를 제기합니다.

사용자들은 정밀한 결과를 얻지 못하고 관련 없는 링크나 문서만 받을 것을 예상하기 때문에 이러한 상세한 요청을 입력하는 것을 피하는 경우가 많습니다.

예를 들어, '싱가포르에서 AI 검색을 하는 사람을 모두 찾아라'와 같은 쿼리는 일치하는 개인의 선별된 데이터베이스 대신 일부 키워드를 포함하는 문서를 제공하는 경향이 있습니다. 이러한 한계는 사용자가 중요한 작업을 위한 포괄적이고 정확한 데이터를 제공하는 데 전통적인 엔진에 대한 신뢰를 부족하게 만들고, 정보 검색에 대한 더욱 정교한 접근 방식의 필요성을 제기합니다.

Will Bryk에 따르면, 강력한 정보 인프라는 사회적 안정성을 유지하고 미래의 디스토피아를 방지하는 데 매우 중요합니다. 그는 현재의 정보 검색 문제를 해결하지 못하면 잘못된 정보로 가득 찬 세상으로 이어질 수 있다고 경고합니다.

Bryk는 정확한 정보의 부족이 조작을 조장하고 개인 및 집단 수준에서 잘못된 의사 결정으로 이어질 수 있다고 믿습니다. 그는 통제되지 않은 AI 기반 정보 환경이 이러한 문제를 악화시켜 진실의 부재가 사회적 결속을 훼손하는 미래를 만들 수 있다고 제안합니다.

따라서 정보 문제 해결은 미래 사회의 안녕을 보호하는 근본적인 단계로 제시됩니다.

트랜스포머 모델, 특히 GPT-3의 등장은 텍스트 입력을 이해하는 놀라운 능력을 보여줌으로써 우수한 검색 기능에 대한 새로운 가능성을 열었습니다. 이러한 발전은 GPT-3의 강력한 기능을 검색 엔진과 결합하여 전 세계 데이터에서 거의 완벽한 정보 검색을 달성하는 개념으로 이어졌습니다.

핵심 아이디어는 신경망을 사용하여 쿼리와 문서를 정밀하게 일치시키는 것으로, 전통적인 키워드 방식을 넘어섭니다. 그러나 이 접근 방식을 수조 개의 문서를 처리하도록 확장하는 것은 혁신적인 아키텍처 솔루션을 필요로 하는 막대한 기술적 과제를 제기합니다.

기존 검색 엔진은 키워드에 의존하며, 이는 간단한 쿼리에는 효율적이지만 복잡한 정보 요청에는 부적절합니다. 더 미묘하고 정교한 검색을 처리하려면 신경망으로의 전환이 필수적입니다.

신경 임베딩은 문서의 의미론적 의미를 인코딩하여 정보에 대한 더 지능적이고 상황에 맞는 이해를 가능하게 합니다. 신경 임베딩과 키워드 기반 방법의 강점을 결합함으로써 검색 엔진은 매우 복잡하고 미묘한 쿼리를 효과적으로 처리하여 이전보다 더 정확하고 관련성 높은 결과를 제공할 수 있습니다.

이 팀은 검색 분야에 새로 왔음에도 불구하고 기존 검색 기술의 내재된 한계를 해결하는 데 깊이 전념했습니다.

이 기간 동안 Exa는 수백만 달러의 자금을 조달하고 야심찬 R&D 노력을 지원하기 위해 GPU 클러스터에 상당한 투자를 했습니다. 그들의 주요 초점은 첫 번째 원칙부터 검색 문제를 해결하여 근본적으로 새롭고 더 효과적인 정보 검색 시스템을 만드는 것이었습니다.

Exa의 초기 목표는 API 우선 비즈니스 모델에 대한 선입견 없이 구글을 능가할 수 있는 우수한 검색 엔진을 구축하는 것이었습니다. 팀은 기술 혁신에만 집중했으며, 수익화는 나중에 해결할 생각이었습니다.

그러나 초기 사용자들은 예상치 않게 API 접근을 요청했으며, 이는 프로그래밍 방식의 정보 검색에 대한 수요를 나타냈습니다. 이러한 사용자 주도적 통찰력은 소비자 대상 검색 인터페이스에서 개발자 중심 API로의 중대한 전환을 촉발하여 다른 애플리케이션과 AI 에이전트가 Exa의 강력한 검색 기능을 직접 통합할 수 있도록 했습니다.

이러한 변화는 Exa의 전략적 방향을 바꾸어 신흥 에이전트 웹의 예상치 못한 요구 사항을 강조하고 회사의 성장을 위한 새로운 길을 열었습니다.

API 접근에 대한 수요는 전통적인 검색 엔진이 적절하게 다루지 못했던 직접적이고 기계가 읽을 수 있는 정보에 대한 더 넓은 시장의 필요성을 나타냈습니다. API 우선 접근 방식을 채택함으로써 Exa는 성장하는 AI 생태계의 중요한 인프라 제공업체로 자리매김하여 개발자들이 고급 검색 기능을 활용하는 정교한 애플리케이션을 구축할 수 있도록 했습니다.

이 마켓플레이스는 공개 웹 데이터와 비공개, 독점 데이터 소스를 연결하여 AI 시스템에서 사용할 수 있는 정보의 범위를 크게 확장합니다.

데이터 제공업체는 콘텐츠의 가치를 설정하고, 에이전트가 이러한 고품질의 비공개 데이터에 접근해야 하는 개발자로부터 지불을 받습니다. 이 이니셔티브는 정보가 AI 애플리케이션에 대한 유용성과 특수성에 따라 거래되는 자유 시장 경제를 구축하여 혁신과 더 나은 정보를 갖춘 AI 에이전트를 육성합니다.

Exa는 공개 웹의 정보와 비공개 데이터 소스를 결합하여 더욱 포괄적이고 미묘한 쿼리 결과를 가능하게 하는 기능을 보여줍니다. 이 기능을 통해 AI 에이전트는 전통적인 검색 방법을 통해 일반적으로 사용할 수 있는 것보다 더 풍부하고 다양한 정보 세트에 접근할 수 있습니다.

예시로 SimilarWeb의 비공개 독점 정보와 공개 웹 데이터의 통합이 시연되었습니다. 이러한 이질적인 데이터 세트를 연결하는 능력은 Exa의 다용성과 복잡한 쿼리에 대한 고도로 전문화된 정보 통합을 제공할 잠재력을 강조합니다.

Exa의 궁극적인 목표는 '완벽한 정보'라고 부르는 것을 달성하는 것입니다. 이는 복잡한 쿼리에 겉보기에 노력이 필요 없는 속도와 정확성으로 답할 수 있게 해줄 것입니다. Will Bryk는 이러한 능력을 1년치 연구를 단 1초 만에 완료하는 것에 비유하며 AI 애플리케이션의 혁신적인 잠재력을 강조합니다.

이러한 수준의 정보 접근은 미래 AI 에이전트 활동의 기하급수적인 성장을 지원하는 데 매우 중요합니다. 거의 즉각적이고 매우 정확한 데이터를 제공함으로써 Exa는 AI 시스템이 광범위한 인간의 노력과 시간을 필요로 하는 작업을 수행할 수 있도록 하는 것을 목표로 합니다.

회사는 정보에 입각한 시민들이 건전한 민주적 과정에 필수적이라고 믿습니다.

이 목표는 사회가 정보에 입각한 결정을 내리는 데 필요한 중요한 세계 인프라를 구축하는 것으로 구성됩니다. 정확하고 포괄적인 정보에 대한 광범위한 접근을 보장함으로써 Exa는 중요한 정치적 순간에 더 많은 지식을 갖춘 대중에게 기여하기를 희망합니다.

AI 시스템은 인간보다 수천 배 더 많은 검색량을 생성할 것으로 예상되며, 이러한 엄청난 규모는 현재의 검색 그래프로는 적절하게 나타낼 수 없습니다. 이러한 전례 없는 성장은 인간 중심 검색 모델이 미래의 수요를 따라잡을 수 없음을 나타냅니다.

Will Bryk는 사실상 모든 소프트웨어 상호작용이 결국 어떤 형태의 검색에 기반을 둘 것이라고 주장합니다. 이러한 기하급수적인 증가는 에이전트 웹의 광대하고 복잡한 정보 요구를 지원하기 위해 검색 인프라에 대한 근본적인 재고를 필요로 합니다.

Will Bryk는 미래 사회적 한계가 기술적 결함보다는 인간 조율의 문제에서 더 많이 발생할 것이라고 믿습니다. 그는 점점 더 발전하는 기술과 함께 현명한 집단적 결정을 내릴 수 있는 능력이 효과적인 조율에 달려 있다고 주장합니다.

소비되는 정보의 질은 사회적 조율의 효율성에 직접적인 영향을 미칩니다. 따라서 기술의 주요 역할은 더 나은 의사 결정을 가능하게 하고 중요한 문제에 대한 인간 협력을 강화하기 위해 정확한 데이터의 견고한 기반을 제공하는 것입니다.