오픈 AI 모델, 기업 비용 절감 주도

현재 많은 기업들이 미국 및 중국 개발 모델을 혼합하여 사용하고 있으며, 주로 코딩 에이전트와 AI 비서 중심으로 AI를 활용하고 있습니다. 오픈 클로(Open CLO)와 헤르메스(Hermes)와 같은 오픈 소스 모델의 도입 사례가 점차 증가하는 추세입니다.

대기업의 오픈 소스 모델 도입 사례가 구체화되고 있습니다. 최근 AT&T는 전체 토큰 사용량의 40%를 이미 오픈 소스 모델로 전환했다고 밝혔습니다. 현재는 주로 미국과 유럽 모델을 사용하고 있지만, 점차 중국 모델의 도입도 검토 중인 것으로 알려졌습니다.

오픈 모델의 토큰 사용량이 폭발적으로 증가하고 있습니다. Ollama 클라우드 전체 토큰 사용량은 올해 초 대비 무려 150배나 증가했습니다. 이러한 급증은 주로 코딩 에이전트 구동 모델의 등장과 오픈 클로(Open CLO) 모델 도입으로 인한 사용 범위 확장에 기인합니다.

보안 테스트 분야에서 개방형 모델의 역할이 중요해지고 있습니다. 클로드(Claude)와 같은 폐쇄형 모델은 침투 테스트를 거부하는 경우가 많아 보안 연구에 제약이 있었습니다. 이에 따라 소프트웨어의 보안을 확인하기 위한 핵심적인 사용 사례로 개방형 모델이 주목받고 있으며, 그 유연성이 강점으로 작용하고 있습니다.

AI 인프라 구성은 운영체제 개발에 비유될 만큼 복잡합니다. 하드웨어 드라이버, 추론 계층의 프로바이더, 애플리케이션 런타임, 그리고 하네스의 작동 여부까지 모든 계층을 연결해야 합니다. 이 모든 요소를 유기적으로 통합하고 연결하는 접착제 역할이 AI 스택 구성의 핵심 과제입니다.

오픈 모델 커뮤니티는 비용을 절감하여 더 많은 사람들이 AI에 접근할 수 있도록 하는 데 기여하고 있습니다. 따라서 최첨단 연구에는 폐쇄형 모델을 활용하고, 일반적인 작업에는 오픈 모델을 혼용하는 방식이 주류가 될 것으로 예상됩니다.

AI 활용에 있어 작업 성격에 따라 로컬과 클라우드 하이브리드 전략이 중요합니다. 코딩 에이전트와 같이 코드를 작성하고 테스트를 수행하는 고난도 문제는 대부분 대규모 클라우드 모델에서 가장 효과적입니다. 반면 문서 처리 워크플로와 같이 상대적으로 간단한 문제 해결 과정은 로컬 환경에서 매우 효율적으로 실행될 수 있어 비용 및 효율성 면에서 우위를 가집니다.

워크스테이션 하드웨어 시장이 도약하며 AI 인프라의 접근성을 높이고 있습니다. GTC에서 공개된 DGX Spark와 같은 고성능 장비는 책상 위에 놓고 사용할 수 있으며, 20B부터 120B 모델까지 구동할 수 있는 128GB의 통합 메모리를 제공합니다. 이를 통해 개발자들은 고가의 GPU 구매 번거로움 없이 클라우드와 연결된 로컬 리소스를 활용하여 AI 개발을 효율적으로 진행할 수 있게 되었습니다.

AI 시장에서는 모델 성능과 비용 효율을 최적화하는 흐름이 확인되고 있습니다. 딥시크 플래시(DeepSeek Flash)와 같은 저비용 모델의 등장은 토큰 당 비용뿐만 아니라 작업 당 비용까지 낮춰주는 중요한 지표로 작용하고 있습니다. 이러한 유형의 모델들이 무제한 토큰 개념을 실현하는 첫 번째 모델이 될 것으로 보이며, 최첨단 모델과 오픈 소스 모델 간의 성능 격차도 3개월 미만으로 빠르게 줄어들고 있습니다.

일부 고객은 모델이 어디에서 실행되는지에만 관심을 두는 반면, 다른 고객들은 모델의 출처 자체를 매우 중요하게 생각합니다. 특히 미국 고객들은 모델 출처와 데이터 보안을 중시하는 경향이 있으며, NeMo와 같이 투명하게 개발된 모델에 대한 수요가 증가하고 있습니다.

Ollama의 공동 창업자는 2021년 YC에 참여한 후 2023년 7월이 되어서야 제품을 공식 출시했다고 밝혔습니다. 그 과정은 개발자를 만족시킬 수 있는 고객 문제를 찾는 여정이었으며, 여러 아이디어를 시도하고 2023년까지 방향을 전환했던 것이 오히려 다행이었다고 회고했습니다. 이는 고객 문제 해결의 중요성과 피벗(Pivot)의 필요성을 보여줍니다.

이 과정에서 아이디어를 구체화하는 데 약 2년의 시간이 소요되었습니다. 당시 팀원 10명과 함께 불확실한 기간을 보내며 많은 두려움을 느꼈다고 합니다. 이러한 방향 전환은 초기 스타트업이 시장의 변화와 고객의 필요에 맞춰 유연하게 대응해야 함을 보여줍니다.

초기에는 쿠버네티스 환경에서 개발자 보안 솔루션을 제공하는 데 집중했습니다. 그러나 시장의 반응과 기술 트렌드를 분석한 결과, 더 큰 기회가 데스크톱 환경의 개발자 도구 시장에 있다는 판단을 내렸습니다. 이 결정은 회사의 핵심 역량을 재정의하고 새로운 성장 동력을 찾는 중요한 전환점이었습니다.

사업 방향을 전환하는 과정은 쉽지 않았습니다. 이미 투자받은 자금을 바탕으로 초기 아이디어를 추진하고 있었기에, 완전히 새로운 분야로 넘어가는 것은 큰 위험 부담을 안는 일이었습니다. 특히 소규모 팀에게는 불확실성이 주는 심리적 압박이 상당했습니다.

그럼에도 불구하고 Ollama 팀은 변화의 필요성을 인정하고 과감한 결정을 내렸습니다. 2년이라는 시간을 투자하여 새로운 제품을 개발하고 시장 적합성을 찾아나갔으며, 이는 현재의 성공적인 오픈 소스 AI 모델 플랫폼으로 성장하는 기반이 되었습니다.

오픈 모델은 기업 환경에서 빠른 속도로 확산되고 있습니다. 현재 포춘 500대 기업의 85%가 Ollama 제품을 사용하고 있는데, 이는 누구나 무료로 시작할 수 있고 어디서든 실행할 수 있다는 점이 주효했습니다. 이러한 접근 용이성은 기업 내 개발자들에게도 빠르게 적용되어, MongoDB와 유사한 데이터베이스 확산 사례처럼 오픈 모델이 광범위하게 도입되는 핵심 동력이 되고 있습니다.

과거에는 폐쇄형 모델이 시장 적합성이 높다고 판단되었으나, 코딩 에이전트가 등장하면서 상황이 반전되었습니다. 이제 AI 사용량이 가장 많은 분야에서 오픈 모델이 마침내 그 수요를 충족할 수 있게 되면서, 오픈 모델이 AI 산업의 핵심 동력으로 자리매김했습니다.

YC 커뮤니티에서는 이전 세대 기업들이 겪었던 어려움들 중에서 굳이 반복할 필요가 없는 것들을 공유하며, 이를 통해 창업의 외로움을 해소하고 효과적인 방법론을 학습할 수 있습니다. 이는 창업자들이 비슷한 실수를 반복하지 않고 더 나은 의사결정을 내릴 수 있도록 돕는 중요한 가치입니다.

AI 인프라 시대에는 기존의 스타트업 인식과 다른 전략이 유효합니다. 과거에는 다른 시스템 위에 얹는 레이어 역할을 하는 스타트업이 취약하다는 인식이 있었지만, AI 세계에서는 전혀 그렇지 않습니다. 오히려 스택의 상위로 이동하는 것이 고객과 더 가까워질 수 있어 더 좋은 전략이 될 수 있습니다. 이는 LLM이 설계대로 작동하지 않는 비결정적 특성을 가지고 있기 때문입니다.