AI 토큰 비용, 인건비처럼 관리해야

AI 에이전트를 구축할 때 드는 케팩스(CAPEX, 시설 투자)와 운영할 때 발생하는 오펙스(OPEX, 운영 비용)를 고려해야 한다. 특히 AI 에이전트가 사용하는 토큰비를 인건비의 일부로 인식하고, 경영진 차원에서 관리해야 한다고 강조되었다. 이는 토크노믹스(Tokenomics) 관점에서 토큰 비용을 최적화하고 효율적으로 활용할 필요성이 대두되고 있음을 의미한다.

AI 토큰 비용은 사분면으로 관리해야 효율성을 높일 수 있다. X축은 토큰 사용량을 적게 썼는지 많이 썼는지, Y축은 해당 토큰으로 만들어진 성과, 즉 비즈니스 모델 기여도를 기준으로 삼는다. 성과가 높고 토큰 사용량이 많다면 더 적극적으로 활용하고, 성과는 낮은데 토큰 사용량이 많다면 효율화 방안을 모색해야 한다.

따라서 기업은 토큰 이코노미의 넓은 개념보다는 실제 경영에 적용할 수 있는 토크노믹스 관점에서 접근해야 한다.

토큰이 실제 데이터 센터에 들어가 최종적으로 사용자 화면에 처리되거나 생성되는 과정은 크게 네 가지 단계로 나뉜다. 첫 번째는 프리필(Prefill) 단계로, 입력 프롬프트를 AI 모델이 이해할 수 있는 단위로 분해한다. 두 번째는 재생산(Reproduction) 단계로, 벡터 공간에서 확률적으로 연관된 토큰을 생성한다. 세 번째는 디코드(Decode) 단계로, 처리된 토큰을 사람이 이해할 수 있는 형태로 출력한다. 마지막 네 번째는 에이전트 제어(Agent Control) 단계로, 툴 호출 및 실행 관리를 담당한다.

AI 모델의 1단계부터 3단계까지는 추론 깊이 조절 등으로 토큰 사용을 어느 정도 통제할 수 있다. 그러나 4단계 에이전트는 어떤 도구를 얼마나 반복적으로 호출할지를 스스로 결정하기 때문에 토큰을 가장 많이 소비한다. 이 때문에 기업 입장에서 에이전트의 토큰 비용을 예측하고 통제하는 것이 매우 어려운 영역으로 꼽힌다.

토큰 비용 관리는 측정-평가-관리의 3단계 순환 구조를 통해 이루어져야 한다. 먼저 어떤 부서가 어떤 작업에 얼마만큼의 토큰을 사용했는지 정확히 측정해야 한다. 측정된 데이터를 바탕으로 토큰 사용량을 성과와 연결하여 평가해야 하는데, 단순히 토큰을 많이 썼다고 해서 높은 성과를 낸 것은 아니므로 주의가 필요하다. 이처럼 측정이 선행되어야만 합리적인 평가와 효율적인 관리가 가능해진다.

토큰 운영 매트릭스는 X축을 토큰 소모량(적게/많이), Y축을 비즈니스 기여 성과(높게/낮게)로 구분하여 관리한다. 토큰을 많이 사용했음에도 회사 가치에 크게 기여하는 경우에는 오히려 더 많은 사용을 장려하고 최적화 및 효율화를 고민해야 한다. 반대로 성과와 무관하게 토큰 낭비가 심하다면 즉각적인 관리와 개선이 필요하다. 이 매트릭스를 통해 기업은 토큰 사용의 전략적 방향성을 설정할 수 있다.

토큰 사용량은 어느 부서에서 얼마만큼 쓰였는지 정량적으로 측정하는 것이 중요하다. 그러나 업무 성과는 시차를 두고 나타나거나 숫자로 정교하게 측정하기 어려운 정성적 영역이 많다. 따라서 토큰 사용량은 기본적으로 파악하되, 해당 업무가 그만한 가치가 있는지 여부는 정성적 판단을 통해 평가해야 한다. 모든 것을 숫자로만 재단하려 하기보다는, 기본 측정 후 가치를 판단하는 유연한 접근이 필요하다.

AI 오케스트레이션(orchestration) 및 분기 처리 기법을 도입하여 토큰 사용의 효율성을 높이고, 비즈니스 가치에 따라 파운데이션 모델(Foundation Model)과 버티컬 소형언어모델(sLLM) 등 다양한 모델별 비용 최적화 전략을 수립해야 한다.

AI 에이전트 도입으로 기존 업무가 대체되어 발생하는 유휴 인력에 대한 재배치 전략이 중요하다. 에이전트가 처리하는 업무 공백을 채웠다면, 이 유휴 인력을 다른 직무로 신속하게 전환할 수 있어야 한다. 새로운 직무 적응을 돕기 위해 에이전트를 보조 도구로 활용하고, 궁극적으로는 인건비와 토큰비를 통합적으로 분석하여 전반적인 비용 효율성을 높여야 한다.

AI 도입 초기에는 CTO/CIO와 CAIO(Chief AI Officer)의 역할 분담이 필요하다. CTO/CIO는 전통적인 IT 인프라와 보안을 담당하고, CAIO는 AI 특화 인프라 구축 및 운영 관리를 전담하는 형태가 될 수 있다. 장기적으로는 데이터 전문 조직처럼 기술 진화에 따라 조직 통합이 이루어질 가능성도 있다.

전사적으로 모든 직원이 공용으로 사용하는 도구는 토큰 관리에 앞서 사용을 장려해야 한다. 반면, 특정 업무에 특화된 에이전트나 개별 부서에서 사용하는 도구는 토큰 사용량을 세밀하게 관리하고 효율성을 높이는 방향으로 접근해야 한다. 범용 도구와 특화 에이전트의 관리 방식이 달라야 한다.

현재 대부분의 AI 토큰 비용은 미국 기업에 지불되고 있다. 이에 한국형 소버린 AI(자율 AI)의 목표는 자국 토큰 사용을 확대하고 해외로 수출하는 것이다. 이를 위해서는 국가 인프라 및 핵심 산업을 위한 독자적인 파운데이션 모델(독파모) 구축이 필수적이다. 해외 토큰보다 한국 토큰을 사용하는 것이 효율적이며 국가적 이익에도 부합한다.

챗GPT와 같은 AI 모델 사용 시 오픈AI에 비용을 지불하는데, 오픈AI는 AI 모델 학습 및 추론 서빙 운영을 위해 데이터 센터를 임대해야 하므로 데이터 센터 임대 비용이 원가 상승의 주요 요인이다. 오픈AI가 '스타게이트 프로젝트'를 통해 자체 인프라를 내재화하려는 움직임도 이 때문이다. 한국에 데이터 센터를 유치하더라도 토큰 결제는 운영 주체에 발생하므로, 자체적인 기술력과 인프라 구축이 중요하다.

토큰 자체를 수출하는 것은 현실적으로 어렵기 때문에, AI 서비스 경쟁력을 높이는 것이 우선이다. 전 세계가 좋아할 만한 챗GPT와 같은 AI 서비스를 개발하여 수출하는 것이 가장 바람직하다. 특히 K-컬처(웹툰, K팝 등)와 접목한 버티컬 AI 서비스는 해외 시장에서 큰 가능성을 가질 수 있다. 합리적인 가격과 신뢰성을 갖춘 한국의 LLM(거대 언어 모델)을 기반으로 한 자체 수출 전략이 필요하다.

운영 비용이 적게 드는 효율적인 데이터 센터는 해외 시장에서 한국의 AI 인프라 및 서비스를 수출하는 데 유리한 강점이 될 수 있다.

중국은 저렴한 AI 서비스를 효율적으로 운영하기 위해 중국산 반도체와 데이터 센터를 결합한 '풀스택' 인프라를 활용하여 AI를 수출하고 있다. 이러한 전략은 특히 개발도상국을 중심으로 시장을 확대하는 데 효과적이다. 오픈AI 모델 덕분에 중국의 AI 인프라까지 함께 수출되는 효과를 거두고 있다.

데이터 센터는 단순히 반도체 덩어리만 있는 것이 아니라, 전력 설비, 냉각 솔루션, 에너지(SMR, 신재생), 수자원 관리 등 다양한 연관 산업의 동반 성장을 이끌어낸다. 특히 데이터 센터에서 발생하는 막대한 열을 식히기 위한 냉각 기술의 효율화는 토큰 생산 효율로 직결되며, 이는 전체 AI 인프라의 경쟁력을 높이는 중요한 요소가 된다.