기업들, AI '토큰맥싱' 시대 지나 '밸류맥싱'으로 전환

지난 6개월에서 1년간 기업들은 AI 도입에 굉장히 관대했습니다. 일단 도입하고 나면 직원들에게 자유롭게 AI를 사용하도록 허용하는 분위기였습니다. 실제로 모든 회사와 조직에서 AI 토큰 사용량은 크게 증가했으며, 통계에 따르면 지난 2년간 토큰 사용량이 22배 늘어났습니다. 그러나 문제는 이처럼 자유롭게 사용하도록 방치했을 때 지나치게 많은 비용이 발생한다는 점입니다. 미국에서는 전체 기업의 73%가 AI 관련 예산을 조기에 또는 초과 소진하는 경험을 했습니다.

AI3는 기업들에게 GPT, 제미나이, 한국 국산 모델, 업스테이지 등 다양한 AI 모델을 한곳에 모아 제공하는 서비스인 ‘워크스 AI’를 운영하고 있습니다. 이 서비스는 기업들이 여러 AI 모델과 개별적으로 계약할 필요 없이 워크스 AI 하나만으로 모든 모델을 활용할 수 있도록 합니다. 또한, 과도한 사용을 방지하기 위해 요금 한도를 설정할 수 있는 종량제 기업용 AI 포털 서비스로 설계되었습니다.

워크스 AI에 추가되는 기능들은 AI3가 자체적으로 만들고 싶었다기보다는 고객사들의 요청에 기반하여 개발됩니다. 현재 1,000개 정도의 한국 기업과 공공기관이 워크스 AI를 사용하고 있으며, 이들로부터 매일 기능 추가 요청이 쏟아지고 있습니다. AI3는 이처럼 자주 접수되는 요청들을 중심으로 기능을 개발하여 고객사들의 실제 필요를 반영하고 있습니다.

많은 고객사들이 AI 서비스 도입 첫 주에 급증하는 트래픽을 보고 놀라 사용을 제한하는 경우가 많습니다. 그러나 AI3 측은 몇 주 정도 지켜보면 사용량이 자연스럽게 줄어들고, 결국 해당 회사의 실제 AI 활용 능력 수준으로 수렴한다고 조언합니다. 이처럼 AI 활용 능력은 업종별로 큰 차이를 보입니다.

AI 활용률에는 망분리 여부와 업종 특성이 큰 영향을 미칩니다. 망분리가 되어 있는 회사들은 AI3와 같은 외부 서비스를, 특히 외산 AI를 내부망에서 사용할 수 없기 때문에 활용률이 현저히 떨어집니다. 반면, 망분리가 안 되어 있는 기관들은 상대적으로 AI를 훨씬 잘 활용합니다. 또한, 건설업이나 제조업처럼 컴퓨터 앞에 앉아 있는 직원이 적은 업종은 평균적으로 AI 사용률이 낮은 경향을 보입니다.

이전에 개인이 비용을 지불하며 회사 업무에 AI를 활용하던 직원들은 회사 차원에서 AI 솔루션을 도입할 경우 매우 긍정적인 반응을 보이며 적극적으로 활용합니다. 이들은 회사에 AI 도입을 꾸준히 건의했던 경험이 있기 때문에, 회사 도입을 환영하며 AI 활용도가 높아지는 경향을 보입니다.

현재 AI가 수행하지 못하는 업무들도 내년에는 더 잘 처리하게 될 것이므로, 지금은 AI에게 부탁하지 않는 일들까지도 미래에는 맡기게 될 것입니다. 이는 자연스럽게 사람이 사용하는 토큰량의 증가로 이어질 것입니다. 불과 6개월 전만 해도 일부 회사들은 개발자들의 전일 토큰 사용 현황을 리더보드 형태로 게시하며 자랑처럼 여겼던 시절도 있었습니다.

몇 달간 AI를 사용해 본 결과, 기업들은 토큰 사용량 대비 생산성 향상에 대한 확신이 부족하다는 문제에 직면했습니다. 단순히 많이 쓰는 '토큰 맥싱'만으로는 경쟁사 대비 뛰어난 생산성을 확보했다고 보기 어려웠기 때문입니다. 특히 미국 기업의 73%가 AI 예산을 조기 또는 초과 소진하는 등 과도한 비용 지출이 현실화되면서, 경영진의 인식이 변화하기 시작했습니다. 6개월 전 AI 도입에 관대했던 것과 달리, 이제는 지출 속도 대비 회사 성장 체감이 뚜렷하지 않아 AI 활용 속도를 조절하는 '슬로다운' 추세가 나타나고 있습니다.

AI 에이전트의 토큰 사용량이 증가하고, AI 모델 자체의 객단가가 상승하면서 비용 문제가 더욱 심화되고 있습니다. 특히 최근 '페이블'과 같은 고가 모델의 등장은 비용 부담을 가중시켰습니다. 회사에서 비용을 지원할 경우 직원들은 당연히 가장 성능 좋은 모델을 선호하게 되는데, AI3 직원들도 경량 모델이 있음에도 오퍼스 4.8이나 오퍼스 5 같은 고급 모델만 사용한다고 언급했습니다. 이처럼 '내 돈 내산'이 아니라는 인식으로 인해 토큰 맥싱을 주장했던 회사들에서 예기치 못한 비용 증가가 발생하자, 의사 결정권자들은 '이런 속도라면 전략을 재검토해야 하는 것이 아니냐'는 반응을 보이며 '밸류 맥싱'의 중요성을 강조하게 되었습니다.

AI 교육 트렌드가 크게 변화하고 있습니다. 과거의 추상적인 AI 트렌드 강의는 이제 수요가 거의 없어졌습니다. 기업들이 AI에 대한 기본적인 이해를 갖추면서, 더욱 구체적이고 실질적인 내용을 요구하기 시작했기 때문입니다. 이제는 업무 프로세스를 진단하고, 특정 도구를 활용하여 어떻게 구체적으로 업무를 개선할 수 있는지에 대한 방안을 제시하는 강사나 컨설턴트가 인기를 얻고 있습니다. 이처럼 AI 교육 분야의 전문가들은 AX 컨설턴트나 FDE(AI Frontier Development Engineer)와 같은 역할로 전환하려는 추세이며, 이는 불과 1~2년 만에 수요자들이 AI에 대한 높은 성숙도를 갖게 된 결과로 풀이됩니다.

표철민 AI3 대표는 토큰 맥싱이 반드시 나쁜 것이었다고 생각하지 않는다고 밝혔습니다. 오히려 토큰 맥싱을 시도해 본 회사들이 있었기에, 이제는 그 다음 단계로 나아가 질적 성장을 추구할 수 있게 되었다고 평가합니다. 현재 기업들은 단순히 AI를 많이 쓰는 것을 넘어, 가성비 좋게 회사 업무에 실질적인 도움을 주는 방향으로 AI 활용 전략을 전환하고 있습니다.

과거에는 AI의 능력이 아무리 뛰어나도 회사 내부 데이터에 접근할 수 없다는 한계가 있었습니다. 하지만 이제는 AI3가 MCP(Multi-Cloud Platform) 등록과 여러 기능을 통해 사내 ERP, 그룹웨어와 같은 시스템들을 AI와 연동할 수 있게 되었습니다. 이를 통해 AI가 회사의 핵심 데이터에 접근하여 활용할 수 있는 길이 열렸습니다.

현재 사내 데이터뿐만 아니라 공공 데이터, 그리고 M365와 같은 기존 업무 도구들이 MCP를 통해 AI와 연동되고 있습니다. AI3는 이러한 연동을 바탕으로 AI 에이전트를 개발하고, 이 에이전트들을 순차적으로 연결하는 '에이전트 체이닝' 기법을 활용하여 복잡한 업무 '워크플로'를 구성할 수 있도록 지원하고 있습니다. 이는 AI가 다양한 데이터 소스와 연동하여 보다 정교하고 자동화된 업무를 수행할 수 있게 함을 의미합니다.

AI3와 한화가 겪었던 공통된 고민은 AI 에이전트 개발 과정에서의 문제점이었습니다. MCP 도구와 사내 데이터를 모두 연동하여 AI에 학습시킨 후, AI에게 자유로운 의사 결정을 맡겼을 때 원하는 결과를 안정적으로 얻기 어려웠습니다. 예를 들어, 원가 정보를 가진 20가지 MCP를 AI에 알려주더라도, AI가 스스로 데이터를 찾아 처리할 때 결과물이 들쭉날쭉하고 과정이 매번 달라지는 문제가 발생했습니다. 이는 과도한 토큰 낭비와 결과의 일관성 저하로 이어졌습니다.

AI 에이전트의 불안정한 결과 문제를 해결하기 위해 AI3는 경량 언어 모델(LM)을 활용한 새로운 워크플로를 도입했습니다. 이제 사용자가 요구 사항을 제시하면, 경량 LM이 먼저 여러 MCP 도구 정보, 사용자 질의, 그리고 원하는 결과물 정보를 바탕으로 빠르게 워크플로를 설계합니다. 이렇게 경량 LM이 작성한 워크플로를 플래그십 LM에게 전달하여 실행하게 함으로써, AI 작업의 일관성과 정확성을 크게 향상시킬 수 있게 되었습니다.

AI3가 경량 LM을 활용하여 워크플로 설계의 일관성 문제를 해결한 반면, 일부 고객사들은 다른 방식으로 접근하고 있습니다. 이들 고객사는 워크플로를 보다 결정론적으로 제어하기 위해 파이썬 프로그램으로 순서를 미리 정의하는 MCP를 따로 개발했습니다. 이 MCP는 LM에게 특정 순서로만 MCP를 호출하도록 지시하여, 매우 결정론적인 방식으로 작업을 진행하고 결과만을 도출하도록 설계되었습니다. 이는 각 기업의 상황과 요구에 따라 AI 워크플로 문제를 해결하는 다양한 방법이 존재함을 보여줍니다.

많은 기업들이 궁극적으로 경영진의 의사 결정이나 회사 전체의 의사 결정을 효율화하고 자동화하려는 동일한 목표를 가지고 있습니다. 이를 위해 AI 에이전트나 워크플로를 활용할 수 있을지 검토하고 있으며, 제대로 된 자동화를 위해서는 사내 데이터 MCP(Multi-Cloud Platform) 연동이 필수적임을 인식하고 이를 개발하고 있습니다. 이 과정에서 발생하는 필연적인 토큰 낭비와 일관성 부족 문제를 해결하기 위해 기업들은 지속적으로 실험과 시행착오를 거치고 있습니다.

사내에 데이터 레이크나 빅데이터 플랫폼을 이미 구축해 놓은 기업들은 AI 활용에 있어 매우 유리한 위치에 있습니다. 이들 기업은 이미 사내 데이터를 디지털화하고 중앙화해 놓았기 때문에, 단순히 MCP 파이프라인만 연결하면 AI에게 필요한 정보를 바로 제공할 수 있습니다. 이는 데이터 통합 과정에서 드는 시간과 비용을 절감하여 AI 도입 및 활용 속도를 가속화할 수 있게 합니다.

초기에 AI를 도입했던 기업들은 대부분 RAG(Retrieval Augmented Generation) 기술을 활용했습니다. 2년 전에는 RAG가 큰 주목을 받았지만, 이 기술은 본질적으로 한계가 있었습니다. 예를 들어 300페이지 분량의 PDF 문서에서 육아 휴직에 대한 질문을 하면, 전체 문서를 이해하는 것이 아니라 육아 휴직 관련 일부 문단만을 추출하여 AI에게 맥락으로 제공하는 방식이었습니다. 이 때문에 100% 정확한 답변을 기대하기 어려웠고, AI가 엉뚱한 숫자를 뱉는 등의 문제가 자주 발생했습니다. RAG 기술 자체의 태생적 한계를 이해하지 못한 채 높은 정확도를 기대했던 기업들은 AI에 대한 실망감을 느끼며, 결과적으로 AX(AI Transformation) 진전이 더뎌지는 경우가 많았습니다.

최근에는 MCP(Multi-Cloud Platform) 활용 덕분에 AI의 환각(Hallucination) 현상이 거의 사라졌습니다. 사용자가 AI에 질문을 하면, MCP가 자연어를 SQL 문으로 변환하여 데이터베이스(DB)를 직접 쿼리합니다. DB에서 정확히 필요한 정보를 가져와 AI의 맥락에 실어 주기 때문에, AI는 더 이상 헛소리를 하지 않습니다. 또한, AI 자체의 성능도 크게 향상되어, 정확한 맥락이 주어졌을 때 사실과 다른 정보를 생성할 가능성이 현저히 낮아졌습니다.