Oxylabs, AI 시대의 데이터 인프라 구축: 초고속 검색과 페타바이트급 데이터 처리

이 강연은 AI 모델이 신선하고, 유용하며, 실시간 데이터를 얻을 수 있도록 하는 인프라의 중요성에서 시작됩니다. Oxylabs는 2015년 설립된 웹 인텔리전스 플랫폼이자 프리미엄 프록시 제공자로, 기업들이 대규모로 공공 웹 데이터를 추출할 수 있는 인프라를 구축하는 데 주력하고 있습니다.

이는 AI 모델이 최신 정보를 기반으로 작동할 수 있도록 필수적인 기반을 제공하는 역할을 합니다.

AI 산업은 정적인 지식 기반에서 벗어나 실시간 외부 데이터를 활용하는 방향으로 변화하고 있습니다. 모델 훈련 자체는 여전히 중요하지만, 그것만으로는 더 이상 충분하지 않습니다. 모델이 유용성을 유지하려면 신선한 정보, 실시간 검색, 그리고 실제 외부 데이터에 접근할 수 있어야 합니다.

이러한 외부 데이터 없이는 아무리 정교하게 훈련된 모델이라도 아는 것에 의해 그 능력이 제한될 수밖에 없습니다.

Oxylabs 팀이 경험을 통해 얻은 중요한 교훈은 혁신이 체계적인 로드맵에 따라 찾아오는 것이 아니라는 점입니다. 오히려 혁신은 강한 압력, 엄격한 마감 기한, 그리고 때로는 예상치 못한 외부 요구사항에서 비롯된다는 사실을 깨달았습니다.

특히 샌프란시스코에서 온 출장 보고서와 같은 외부적 요인이 새로운 도전을 촉발하는 경우가 많았습니다.

어느 날 영업팀은 샌프란시스코에서 돌아와 AI 훈련용 비디오 API에 대한 수요가 있다고 보고했습니다. 당시 팀은 마감 기한이 2주라는 사실과, 한 달에 최소 5페타바이트라는 엄청난 규모의 데이터 처리가 필요하다는 요구사항에 직면했습니다.

그 시점까지 Oxylabs는 그러한 규모의 비디오 API를 개발한 경험이 전혀 없었기에, 이는 팀에게 전례 없는 도전으로 다가왔습니다.

처음에는 단순한 제품 기능 요청처럼 들렸던 비디오 다운로드 요구사항은 점차 인프라 구축의 영역으로 확장되었습니다. 고객이 실제로 필요로 했던 것은 단순히 비디오를 다운로드하는 기능을 넘어, 데이터 수집, 전송, 저장, 전달을 아우르는 완전한 파이프라인이었습니다.

이 파이프라인은 AI 훈련 워크로드와 호환될 수 있을 만큼 충분히 신뢰성 있게 작동해야 했습니다. 이는 Oxylabs가 제품 중심에서 인프라 중심의 솔루션 제공자로 전환하는 계기가 되었습니다.

초기에는 단순히 비디오 다운로더에 대한 요청이었지만, 고객의 요구사항은 점진적으로 확장되었습니다. 고객은 비디오 대본 지원을 요청했고, 이후에는 자막 지원으로 요구사항이 변경되어 팀은 이에 맞춰 시스템을 재적응시켰습니다. 다음으로 고객은 특정 언어 비디오 검색의 어려움을 토로하며 검색 기능 추가를 요청했고, 이에 대한 솔루션을 구축했습니다. 마지막으로 메타데이터 지원에 대한 요구까지 이어지면서, Oxylabs는 지속적으로 제품을 발전시켜 나갔습니다.

이러한 과정은 고객의 실제 필요에 따라 제품이 진화하는 모습을 보여주었습니다.

처음에는 단 하나의 제품 기능 요청으로 시작했던 작업이 결국 완전한 제품군으로 발전하는 놀라운 결과를 낳았습니다. 팀은 초기에는 단순히 비디오 다운로더를 구축한다고 생각했지만, 점차 대본 지원, 자막 지원, 메타데이터 추가, 채널 정보 구축 등 다양한 기능을 추가하게 되었습니다.

이러한 기능들이 개별적으로 개발되면서, 최종적으로는 이 모든 것을 통합하는 자체 내부 라이브러리까지 구축하게 되었습니다. 이는 고객의 진화하는 요구사항이 어떻게 전체 제품 라인을 형성하는지를 보여주는 사례입니다.

Oxylabs는 혁신이 높은 압력 속에서 반복적인 적응을 통해 이루어진다는 중요한 교훈을 얻었습니다. 이 교훈은 기술적인 측면과 인간적인 측면을 모두 포함합니다. 고객이 구매하는 것은 제품의 첫 번째 버전이 아니라, 변화하는 요구사항에 맞춰 지속적으로 적응하는 공급자의 능력이기 때문입니다.

이러한 인식은 급변하는 AI 산업 환경에서 기업이 생존하고 성장하기 위한 핵심 전략이 됩니다.

Google의 기반 문서에서는 Google 검색이 AI 모델을 현재의 공개 지식에 연결하는 핵심적인 방법으로 명시적으로 제시하고 있습니다. 이는 AI 모델 계층이 주변의 실시간 검색 계층과 연동하여 작동하는 것이 점점 더 일반적인 기대치가 되고 있음을 의미합니다.

결과적으로, AI 모델의 유용성을 극대화하기 위해서는 신속하고 정확한 외부 검색 기능이 필수적인 요소로 자리 잡고 있습니다.

Oxylabs는 기존 스크레이퍼를 단순히 빠르게 만드는 것만으로는 AI 시스템의 요구사항을 충족할 수 없다는 것을 빠르게 깨달았습니다. 일반적인 스크레이퍼는 광고, 위젯, 리치 결과 등 가능한 많은 정보를 검색하도록 설계된 반면, 빠른 검색 API는 AI 시스템에 실제로 중요한 유기적 결과, 주요 기사, 뉴스에만 초점을 맞춰 개발되었습니다.

이를 위해 무거운 레이아웃 요소를 모두 제거하여 AI가 필요로 하는 핵심 정보만을 효율적으로 제공하는 방식으로 차별화했습니다.

2025년에 Oxylabs는 새로운 클라이언트로부터 데이터 보존 제로, 1초 미만 지연 시간, 그리고 2주 내 개발이라는 극단적인 요구사항을 받았습니다. 이는 다양한 지리적 위치와 쿼리 매개변수를 지원하며 800밀리초 미만으로 결과를 제공할 수 있는 솔루션을 2주 이내에 테스트할 준비를 마쳐야 한다는 의미였습니다.

기존 시스템의 기준이 4초였던 점을 고려할 때, 이는 단순한 최적화가 아닌 근본적인 재설계를 필요로 했고, 팀은 처음부터 다시 시작하기로 결정했습니다.

새로운 제품 테스트를 위해 클라이언트와 통화하던 중, 시스템이 예기치 않게 심하게 차단당하는 경험을 했습니다. 이 사건은 인프라와 시스템을 설계할 때 매우 중요한 깨달음을 주었습니다.

개발 환경에서 원활하게 작동하는 시스템, 테스트를 통과하는 시스템, 그리고 실제 현실 환경에서 안정적으로 살아남는 시스템 사이에는 분명한 차이가 존재한다는 것을 명확히 인지하게 된 순간이었습니다.

시스템 속도를 획기적으로 향상시키는 마법 같은 비법은 없었습니다. 대신, 팀은 시간을 찾아 헤매는 방식으로 접근했습니다. 레이아웃, 파서, 세션, 프록시 등 시스템의 모든 부분을 면밀히 검토하며 1초, 2초, 3초, 4초를 줄일 수 있는 모든 지점을 찾아냈습니다.

시스템의 속도 개선은 거대한 한 번의 돌파구가 아니라, 이러한 작은 결정들이 쌓이고 쌓여 이루어진 결과였습니다.

AI 시대에는 속도가 단순한 성능 지표를 넘어, 특정 제품의 존재 가능성 자체를 정의하는 핵심 요소가 됩니다. 예를 들어, 4초의 지연 시간을 가진 파이프라인은 느린 워크플로에 그치지만, 1초 미만으로 응답할 수 있다면 AI 워크플로에 통합되어 상호작용 가능한 무언가가 됩니다.

이는 AI 시스템의 실시간성을 확보하는 것이 얼마나 중요한지를 보여주는 교훈입니다.

세 번째 핵심 과제는 시스템을 확장성(Scale)에 맞춰 적응시키는 것입니다. 확장성을 다루는 단계에 이르면 인프라의 역할이 더욱 중요해지면서도, 동시에 겸손해진다는 것을 깨달았습니다.

이는 엄청난 양의 트래픽과 데이터를 처리해야 할 때, 기반 인프라가 얼마나 견고하고 유연하게 설계되어야 하는지를 강조합니다.

Oxylabs가 직면한 주요 병목 현상은 극적인 시스템 장애가 아니라, 부하 테스트에서 발생한 유기적 데이터 테스트의 불확실성이었습니다. 합성 트래픽을 생성하는 것은 비교적 쉬웠지만, 실제 클라이언트 사용과 유사하게 동작하는 유기적 트래픽을 처리하여 유용한 정보를 얻는 것이 훨씬 어려웠습니다.

한 부하 테스트에서는 초당 약 2만 건의 요청에서 한계에 부딪혔는데, 이때 시스템이 작동하지 않는 것이 아니라, 시스템이 더 나아갈 수 있을지에 대한 불확실성이 진정한 병목 현상으로 작용했습니다.

이론적으로는 모두가 관측 가능성(observability)의 중요성에 동의하지만, 대규모 시스템에서의 관측 가능성은 실제로 매우 어려운 작업이 됩니다. 로그 수집은 복잡하고, 수집된 로그를 처리하는 것은 더욱 어렵습니다.

이는 메트릭에도 동일하게 적용되며, 엄청난 부하로 시스템이 확장될 때 텔레메트리(telemetry) 자체도 부하와 복잡성의 일부가 됩니다.

Oxylabs는 점진적인 확장 전략을 취하며, 결국 실제 테스트는 생산 트래픽을 통해서만 가능하다는 진실을 받아들였습니다. 다행히 이 과정은 성공적으로 진행되었고, 현재 이 프로젝트는 내부적으로 '프로젝트 60'으로 불리며 초당 6만 건의 요청을 처리하는 것을 목표로 했습니다.

그러나 이야기는 여기서 끝나지 않고, 현재는 이미 '프로젝트 150'으로 발전하여 초당 약 15만 건의 요청을 처리하는 수준으로 인프라를 확장하고 있습니다.

Oxylabs는 단순한 프록시 제공자를 넘어, 기업들이 공개 웹 데이터를 추출하고 대규모로 운영할 수 있도록 하는 인프라 계층을 구축하는 데 집중하고 있습니다. 프록시는 필수적이지만, 더 큰 과제는 열린 웹에 접근하고, 데이터를 안정적으로 수집하며, 안티봇 시스템을 효과적으로 다루고, 필요할 때 브라우저를 처리하고, 데이터를 추출하여 전달하는 전체 과정을 포괄하는 인프라를 만드는 것입니다.

이 모든 과정은 AI 기업이 자사의 시스템에 쉽게 연결할 수 있는 방식으로 이루어져야 합니다.

Patricija Žemaitytė는 혁신을 변화하는 요구사항이 새로운 인프라가 될 만큼 충분히 빠르게 지속적으로 적응하는 능력이라고 정의합니다. 이 정의는 급변하는 기술 환경, 특히 AI 분야에서 기업이 생존하고 성장하기 위한 핵심 역량을 명확히 보여줍니다.

이는 단순히 새로운 기술을 개발하는 것을 넘어, 시장의 필요에 끊임없이 반응하고 진화하는 유연성을 강조합니다.