CaaS(Context-as-a-Service)는 AI 에이전트의 웹 활용 비용을 낮출 수 있을까?

Bright Data는 웹 데이터 회사로, 전 세계 2만 개 이상의 팀이 웹에서 데이터를 추출하도록 돕고 있습니다. 이들 고객 중에는 세계 최대 AI 연구소의 70% 이상이 포함되어 있으며, Bright Data는 다양한 산업 분야에서 데이터 기반 의사결정을 지원합니다. 웹에서 필요한 정보를 효과적으로 수집하고 구조화하는 데 필요한 솔루션을 제공하며, AI 시대에 데이터의 중요성이 커지면서 그 역할이 더욱 부각되고 있습니다.

AI와 AI 에이전트의 등장은 웹의 역할을 근본적으로 변화시키고 있습니다. 과거에는 단순한 데이터 저장소였던 웹이 이제는 '맥락'의 원천으로 인식되기 시작했습니다. 지식 작업을 수행하는 AI 에이전트가 웹에서 필요한 정보를 찾아 맥락으로 활용하며 작업을 지속하는 것이 새로운 표준이 되고 있습니다. 이는 웹 데이터의 중요성을 더욱 강조하며, 정보를 단순히 추출하는 것을 넘어 맥락을 이해하고 활용하는 방향으로 기술 발전이 이루어지고 있음을 의미합니다.

웹에서 맥락을 추출하는 작업은 웹 데이터의 본질적인 특성 때문에 지속적인 노력을 요구합니다. 웹 데이터는 지저분하고 비정형적이며, 가장 중요한 것은 끊임없이 변한다는 점입니다. 이는 '데이터 부패' 차트를 통해 확인할 수 있는데, 새로운 페이지나 콘텐츠가 게시된 후 얼마나 오랫동안 관련성이 유지되는지를 분석한 결과, 웹 데이터의 빠른 변화를 여실히 보여줍니다. 이러한 특성 때문에 웹에서 유의미한 맥락을 지속적으로 추출하고 유지하는 것이 큰 과제로 남아있습니다.

불과 3년 전만 해도 구글이 압도적인 지배력을 행사하던 검색 시장은 AI 기술의 발전과 함께 크게 변화했습니다. 1년 반에서 2년 전부터는 LLM(대규모 언어 모델)과 챗봇 내에 검색 기능이 등장하기 시작했으며, 이는 인간과 AI 에이전트 간의 검색 경험 경계를 모호하게 만들었습니다. 이러한 변화는 검색의 주체가 인간뿐만 아니라 AI 에이전트까지 확장되면서, 검색 솔루션과 서비스의 진화를 가속화하고 있습니다.

검색 시장의 변화는 Exa, Parallel, you.com과 같은 새로운 종류의 AI 검색 기업들의 등장을 촉발했습니다. 이들은 순수하게 AI 에이전트를 위해 웹을 구축하고 색인화하며, 더 이상 인간 사용자를 주요 고려 대상으로 삼지 않습니다. 이러한 접근 방식은 AI 에이전트가 웹에서 필요한 정보를 보다 효율적으로 찾아 맥락으로 활용할 수 있도록 최적화된 검색 환경을 제공하며, 기존 검색 엔진과는 차별화된 서비스를 제공하고 있습니다.

기존의 웹 검색은 표면적인 정보만을 제공하며, 시간 경과에 따른 변화나 복잡한 데이터를 다루는 데 한계가 있습니다. 예를 들어, 특정 운동화의 오늘 아침 가격은 검색할 수 있지만, 지난 6개월 동안의 가격 변동 추이나 할인 정보는 얻기 어렵습니다. 또한, 특정 기업의 현재 채용 공고는 찾을 수 있지만, 시간 경과에 따른 인력 변동 차트와 같은 심층적인 맥락 정보는 제공하지 못합니다. 이 모든 정보가 웹에 존재함에도 불구하고, 기존 웹 검색으로는 추출할 수 없는 더 많은 맥락이 웹에 존재한다는 것이 문제입니다.

CaaS(Context-as-a-Service) 기업들은 단순히 웹을 검색하고 크롤링하는 것을 넘어섭니다. 이들은 웹 데이터를 수집하고 액세스하며 추출한 후, 한 단계 더 나아가 지식 그래프를 개발하여 모든 엔티티를 구조화하고 중복을 제거합니다. 또한 다양한 소스의 데이터를 통합하여 풍부하게 만듭니다. 결과적으로 CaaS 기업들은 모든 데이터를 병합하여 특정하고 효율적인 수직 검색 엔진처럼 작동하며, AI 에이전트에게 필요한 맥락을 제공하는 데 특화된 서비스를 제공합니다.

CaaS 산업은 이미 빠르게 성장하고 있으며, 기존의 데이터 서비스 제공업체들도 이러한 흐름에 동참하고 있습니다. 예를 들어, ZoomInfo와 같은 기존 Data-as-a-Service 기업은 gtm.ai라는 보조 브랜드를 출시하여 에이전트의 특정 니즈를 충족시키기 위한 CaaS 솔루션을 제공하고 있습니다. 이들은 GTM(Go-To-Market) 작업, 즉 잠재 고객 발굴이나 헤드헌팅과 같은 사람 관련 지식 작업을 AI 에이전트로부터 직접 지원하는 데 초점을 맞추고 있습니다. 이는 CaaS가 DAS의 진화 형태이면서도, AI 검색 엔진이 Google과 다르듯이 에이전트가 필요로 하는 바는 인간과 다르다는 점을 이해하고 대응하는 움직임으로 해석됩니다.

AI 에이전트가 지식 작업을 완료하는 데 최소 두 가지 경로가 있다는 점을 고려할 때, AI 엔지니어는 웹 컨텍스트 엔지니어링 측면에서 이를 어떻게 최적화할지 고민해야 합니다. 특정 작업을 위한 최적화뿐만 아니라, 다양한 팀의 서로 다른 니즈를 충족시키기 위한 작업 유형별 최적화도 중요합니다. 모든 팀에 AI 검색만을 적용하는 것이 매력적으로 보일 수 있지만, 이것이 항상 최적의 방법은 아닐 수 있습니다. AI 검색과 CaaS의 조합을 통해 비용 효율성을 극대화하는 방안을 모색하는 것이 중요합니다.

AI 엔지니어 행사의 모든 스폰서를 대상으로 100회 실행된 테스트 결과, CaaS와 AI 검색 솔루션 모두 데이터 커버리지 측면에서 높은 일관성을 보였습니다. 지식 작업에 필요한 정보를 얼마나 잘 포함하고 있는지에 대한 초기 평가에서, 대부분의 솔루션이 상당히 잘 수행되었음을 알 수 있었습니다. 이는 웹 컨텍스트를 제공하는 주요 서비스들이 기본적인 정보 수집 능력에 있어서는 신뢰할 만한 수준에 도달했음을 시사합니다.

Omer Primor는 CaaS 솔루션이 회사 관련 정보 매핑이라는 단 하나의 작업에 특화되어 있기 때문에 실험을 지배할 것이라고 예상했지만, 실제 성능은 예상과 달랐습니다. 자세히 살펴보니, CaaS 솔루션은 엔티티에 대해 알고 있는 것에 제한이 있었습니다. 만약 그 범위를 넘어선 질문을 할 경우, 해당 데이터는 아예 가지고 있지 않아 답변할 수 없는 상황이 발생했습니다. 이는 CaaS 솔루션이 특정 목적에는 강력하지만, 정보의 폭넓은 커버리지 측면에서는 한계가 있음을 보여줍니다.

비용 비교 결과, CaaS 솔루션은 서비스 자체에 대한 비용이 높았고, 자체 클라우드 검색은 터무니없이 비싼 것으로 나타났습니다. 다른 모든 검색 솔루션들도 데이터를 구조화하여 검색 가능하게 만드는 데 많은 토큰 소모가 필요했습니다. 특히, 한 CaaS 솔루션은 업계에서 가장 비싼 축에 속하는 것으로 확인되었습니다. 이러한 결과는 AI 에이전트가 웹 데이터를 활용하는 데 있어 비용이 중요한 고려사항이 될 수 있음을 시사합니다.

대부분의 AI 엔지니어들이 중요하게 생각하는 질문 중 하나는 '스케일' 문제입니다. 백만 개의 레코드가 필요하거나, 시장 조사 및 사모 펀드 실사처럼 회사들을 계속 재방문하고 시간이 지남에 따라 더 많은 질문을 해야 하는 경우, 쿼리 빈도가 매우 중요해집니다. Primor는 '빈도는 비용의 살인자'라고 강조하며, 반복적인 쿼리가 비용 효율성에 미치는 영향을 지적했습니다. 이는 대규모 지식 작업을 수행하는 AI 에이전트에게 비용 관리가 핵심 과제가 될 수 있음을 의미합니다.

문제는 모든 반복 쿼리가 첫 번째 쿼리와 동일한 비용을 발생시킨다는 점입니다. 심지어 정확히 동일한 답변을 가져와도 매번 비용을 지불해야 합니다. 토큰 비용의 위양성은 항상 존재하고 시간이 지나도 줄어들지 않습니다. 이러한 비용 부담 때문에 지식 작업에서 팀들이 비용을 절감하기 위해 매일 조사를 하지 않고, 매주 또는 매달 한 번만 보거나, 모든 결과가 아닌 일부만 취하는 경향이 생깁니다. 이는 우리가 컨텍스트를 소유하지 않고 빌리고 있음을 의미하며, 장기적인 지식 작업에 제약을 가합니다.

스케일 문제에 직면한 엔지니어라면 '우리가 직접 구축하면 어떨까?'라는 질문을 던질 것입니다. Primor는 AI 엔지니어에게 웹 데이터를 직접 가져와 벡터 데이터베이스에 저장하고 그 결과를 알아보는 실험을 요청했습니다. 이 실험은 벤치마크가 아닌 개념 설명과 자체 구축을 통해 잠재적으로 얻을 수 있는 비용 효율성을 보여주기 위한 테스트입니다. 이를 통해 서비스형 모델에 대한 대안으로서 자체 구축의 가능성을 탐색하고자 했습니다.

자체 구축 방식에서는 링크드인 회사, 링크드인 채용, 크런치베이스와 같은 주요 기업 정보 소스에 대한 맞춤형 스크레이퍼를 구축하여 활용할 수 있습니다. Bright Data는 이러한 스크레이퍼를 제공하며, 사용자는 종량제로 지불하여 이용할 수 있습니다. 또한, AI 기반의 '스크레이퍼 스튜디오'라는 새로운 도구를 통해 어떤 웹사이트든 5분 안에 스크레이퍼를 구축할 수 있게 함으로써, AI 엔지니어가 필요한 데이터를 직접 수집하고 구조화하는 과정을 간소화할 수 있습니다.

링크드인과 같은 웹사이트는 이미 기업, 개인, 채용 공고 등의 엔티티 형태로 데이터가 구조화되어 있어 온톨로지가 이미 존재합니다. 이는 데이터를 처음부터 구조화할 필요 없이 기존의 구조를 활용할 수 있음을 의미합니다. 이러한 웹사이트의 특성은 자체 구축 시 데이터 모델링의 복잡성을 줄이고, 보다 효율적으로 웹 데이터를 수집하고 활용할 수 있는 기반을 제공합니다. 비록 가장 복잡한 시나리오는 아니지만, 데이터 활용의 용이성 측면에서 큰 이점을 제공합니다.

실험 결과, 15,000개 이상의 엔티티 또는 쿼리에서는 자체 구축 방식이 더 합리적인 손익분기점을 보였습니다. 이 수치는 사용 사례에 따라 3만, 10만, 또는 1만으로 달라질 수 있지만, 직접 구축하는 것이 경제적으로 유리해지는 명확한 티핑 포인트가 존재한다는 것을 보여줍니다. 이는 AI 에이전트의 데이터 활용량이 많아질수록, 초기 설정 비용이 들더라도 장기적으로는 자체 데이터 인프라를 구축하는 것이 더욱 비용 효율적일 수 있음을 시사합니다.

AI 검색과 CaaS는 필요한 것이 임시적이거나, 계속 변하고, 때로는 여러 가지를 혼합하여 사용할 때 매우 유용할 수 있습니다. 특정 작업에는 AI 검색을, 다른 작업에는 CaaS를 사용하는 식으로 최적화할 방법이 많습니다. 더 가벼운 모델을 사용하거나 다른 기술을 활용하여 비용을 절감할 수도 있습니다. 하지만 결국 쿼리 빈도가 높아지면 비용 면에서 발목을 잡게 될 것이며, 이러한 비용 전환점(티핑 포인트)은 예상보다 훨씬 낮을 가능성이 큽니다.

소유한 컨텍스트는 시간이 지남에 따라 복리 효과를 내는 반면, 임대한 컨텍스트는 가치가 떨어집니다. 이는 일회성 작업이 아니라 반복적인 지식 작업에 있어 중요한 시사점을 가집니다. 일회성 질문이라면 AI 검색이 훌륭한 도구지만, 계속해서 반복해야 하는 작업이라면 소유한 컨텍스트를 구축하지 않아 잠재적인 복리 효과를 놓치고 손해를 볼 가능성이 큽니다. 따라서 장기적인 관점에서는 컨텍스트를 소유하는 것이 더욱 유리할 수 있습니다.