AI 비용 20% 절감… AI 모델 라우팅·캐싱으로 토큰 사용 최적화

AI 모델의 토큰 사용 비용을 줄이기 위해서는 각 작업의 특성에 맞는 모델을 선택적으로 사용하는 '스마트 라우팅'이 필수적이다. 표철민 AI3 대표는 특정 작업에 가장 비싼 플래그십 모델을 항상 사용할 필요는 없다고 강조했다. 비용 효율적인 경량화 모델이나 오픈소스 모델로도 충분히 높은 성능을 낼 수 있기 때문이다. 그는 태스크에 따라 모델을 구분해 주는 스마트 라우터가 앞으로 중요해질 것이라고 덧붙였다.

AI 에이전트 개발 초기 단계에서는 일단 결과물을 만들어내는 것에 집중했지만, 이제는 토큰 효율화를 고려하는 다음 세대 에이전트 개발이 진행 중이다. 1세대 에이전트가 RAG(검색 증강 생성)와 프롬프트 기반이었다면, 2세대 에이전트는 MCP(Multi-hop Context Processing)를 활용한다. 표 대표는 이 과정에서 토큰 효율화의 필요성을 점차 느끼고 있다고 밝혔다.

최근 AI 모델들의 전반적인 성능 향상으로 인해, 가장 비싼 플래그십 모델을 사용하는 것이 필수가 아니게 되었다. 표 대표는 이제는 거의 모든 모델의 수준이 높아져 플래그십 모델을 쓸 필요가 없다고 단언했다. 이는 경량화된 모델로도 충분히 고성능의 AI 업무를 수행할 수 있음을 시사한다.

오픈소스 경량 모델의 실무 적용 사례를 통해 그 효율성이 입증되고 있다. 표 대표는 Qwen 3.6과 같은 오픈소스 모델에 양질의 사내 데이터를 맥락으로 실어주고, MCP 기술을 적용하면 고가의 클로즈 모델과 비교했을 때 성능 면에서 뒤지지 않는다고 설명했다. 이는 특정 작업을 위해 무조건 비싼 모델을 고집할 필요가 없으며, 잘 설계된 데이터와 경량 모델의 조합이 충분히 강력할 수 있음을 보여준다.

AI 에이전트가 데이터를 호출할 때 불필요한 정보까지 가져와 인풋 토큰을 낭비하는 경우가 많다. 예를 들어 금융감독원 DART 공시 데이터를 가져올 때, API가 공시를 통째로 호출하는 경우가 있다. 필요한 정보가 특정 기업의 최근 3개월간 지분 변동뿐이라면, 해당 정보만 선별적으로 가져오도록 시스템을 설계해야 한다. 현재처럼 기업 정보를 조회한 뒤 최근 분기 공시 전체를 가져오는 방식은 심각한 토큰 낭비로 이어진다.

토큰 프루닝은 AI 모델에 입력되는 맥락 정보에서 불필요한 부분을 잘라내 토큰 효율을 높이는 기술이다. 이는 '가지치기'와 같은 개념으로, 코딩 에이전트에게 적용될 때 특히 유용하다. 특정 코드를 수정할 때 다른 파일들을 참고하며 소스 코드 전체를 가져오는 경우가 발생하는데, 이 중 실제 필요한 부분은 극히 일부일 수 있다. 표 대표는 코딩 에이전트가 200줄 이상의 코드를 가져왔을 때, 프루닝을 통해 실제 필요한 코드가 14줄에 불과했던 사례를 들며 토큰 프루닝의 중요성을 강조했다.

토큰 프루닝을 통해 맥락 정보를 줄였음에도 불구하고 AI 결과물의 품질이 오히려 향상되는 현상이 보고되었다. 최근 발표된 한 논문에 따르면, 맥락 데이터를 경량화하여 모델에 실어줬을 때 결과물의 품질이 2% 증가했다. 2%라는 수치가 크게 느껴지지 않을 수 있지만, 맥락 정보를 줄임으로써 비용은 엄청나게 절감될 수 있다는 점에서 그 효과는 매우 크다. 이는 불필요한 정보가 오히려 AI의 판단을 방해할 수 있음을 시사하며, 맥락의 양보다는 질이 중요함을 보여준다. 따라서 무조건 많은 정보를 제공하기보다는 핵심적인 정보만을 압축하여 전달하는 전략이 AI 효율화에 필수적이다.

스마트 라우팅을 사용할 때, 매 턴마다 라우팅을 독립적으로 수행하면 '캐시 라이트'로 인한 추가 비용이 발생할 수 있다. 예를 들어, 쉬운 대화를 나누던 중 갑자기 어려운 질문이 던져지면 스마트 라우터가 더 고성능의 모델로 승격시킬 수 있다. 이때 이전까지의 모든 대화 내용이 인풋 토큰으로 다시 들어가 캐시 라이트가 발생하며, 이로 인해 할증된 요금, 즉 약 1.25배의 비용을 지불해야 한다. 이는 스마트 라우팅 설계 시 연속적인 대화 맥락을 고려해야 함을 보여준다.

AI 에이전트에게 도구 호출 권한을 전적으로 맡기면 불필요하게 많은 도구를 호출하여 토큰 낭비로 이어질 수 있다. AI가 모든 가능성을 탐색하며 비효율적인 경로를 선택할 수 있기 때문이다. 따라서 AI에게 너무 많은 도구 사용 정보를 차단하고, 특정 문제 해결 경로를 템플릿 형태로 미리 정해주는 '결정론적 도구 호출' 전략이 필요하다. 이는 토큰을 절약할 수 있는 효과적인 방법 중 하나이다.

스마트 라우팅은 AI 모델의 성능 저하를 최소화하면서도 비용을 크게 절감할 수 있는 매우 효율적인 전략이다. 표 대표에 따르면, 스마트 라우팅을 적용했을 때 성능 저하 비율은 극히 적은 반면, 비용은 10분의 1 또는 15분의 1 수준으로 떨어질 수 있다. 이러한 압도적인 비용 효율성 때문에 스마트 라우팅을 도입하지 않을 이유가 전혀 없다고 강조했다.

스마트 라우터는 크게 세 가지 방식으로 분류할 수 있다. 첫 번째는 경량 LLM(대규모 언어 모델)을 맨 앞에 두어 AI가 직접 다음에 사용할 모델을 판별하게 하는 방식이다. 두 번째는 '버트(BERT)'와 같은 별도의 AI 분류기 모델을 사용하여 입력 데이터를 분석하고 적절한 모델로 라우팅하는 방식이다. 세 번째는 미리 정의된 '정규식(Regular Expression)'을 활용하여 특정 패턴에 따라 모델을 선택하는 방식이다. 각 방식은 고유한 장단점을 가지며, 구현의 복잡성과 유연성 면에서 차이를 보인다. 이러한 다양한 방식 중 최적의 조합을 찾는 것이 중요하다.

AI3는 스마트 라우팅에 정규식, 분류기, LLM 폴백(fallback)을 혼용하는 하이브리드 방식을 사용한다. 초기에는 완전 정규식 기반으로 시작했으나, 이후 '택소노미(taxonomy)' 기반의 분류기 모델을 거쳐 현재는 LLM 폴백까지 적용하고 있다. 이는 상황의 복잡성이나 불확실성에 따라 유연하게 모델을 전환하며 최적의 효율을 추구하는 전략이다. 예를 들어, 정규식으로 처리하기 어려운 복잡한 요청은 분류기 모델로 넘기고, 분류기로도 해결이 어려운 경우는 LLM이 최종 판단을 내리도록 하는 식이다.

국내 기업들의 AI 도입은 아직 초기 단계로, 기능 구현에 초점이 맞춰져 있다. 표철민 대표는 현재 기업들이 '일단 만들어 보자'는 식의 접근을 하고 있으며, AI가 무엇을 할 수 있는지 파악하는 단계에 머물러 있다고 진단했다. 그러나 효율적인 AI 시스템을 구축하기 위해서는 단순히 기능을 만드는 것을 넘어, 개발된 AI 모델의 성능을 지속적으로 '평가'하고 '최적화'하는 단계로 진입해야 한다고 강조했다. 마치 제품을 만들고 나서 품질을 깎아내고 개선하는 과정과 같다는 설명이다.

AI 평가 서비스는 모델의 성능을 극대화하기 위해 다양한 변수를 지속적으로 변경하고 최적화하는 역할을 한다. 이 서비스는 단순히 결과를 분석하는 것을 넘어, 모델 교체, 컨텍스트 변경, 프롬프트 수정, MCP(Multi-hop Context Processing) 고도화 등 일련의 행위를 반복하며 최적의 조합을 찾아낸다. 이러한 과정을 통해 얻은 결과는 보고서 형태로 제공되어, 기업이 AI 시스템의 효율성과 성능을 개선하는 데 활용될 수 있다.

AI3는 지난 4월 프롬프트 캐싱 기능을 적극적으로 도입하여 고객들의 AI 사용 비용을 크게 절감하는 데 성공했다. 기존에는 부분적으로만 가능했던 캐싱 기능을 최대한 확장하여 전체 시스템에 적용했으며, 그 결과 고객들의 평균 지출이 20% 감소하는 효과를 얻었다. 프롬프트 캐싱은 이전에 처리했던 동일하거나 유사한 프롬프트 요청에 대해 저장된 응답을 재활용함으로써, 중복 호출로 인한 토큰 사용과 연산 비용을 줄이는 기술이다. 이는 특히 반복적인 질문이나 요청이 많은 환경에서 비용 효율성을 극대화하는 데 중요한 역할을 한다. AI3의 사례는 프롬프트 캐싱이 실질적인 비용 절감 효과를 가져올 수 있음을 보여준다.

AI 모델 운용에 있어 고객의 고정된 예산과 예측 불가능한 에이전트 도구 호출 사이의 딜레마가 존재한다. AI 모델의 원가는 정해져 있지만, 고객사는 사내 보고된 예산 안에서 비용을 지출해야 한다. 20~30% 정도의 초과 지출은 감당 가능하다고 여기지만, 에이전트가 얼마나 많은 도구 호출을 할지 예측하기 어려운 '블랙박스' 구간이 문제로 작용한다. 따라서 AI3는 이 비용 문제를 해결하기 위해 토큰 사용을 최대한 쥐어짜는 것을 최우선 과제로 삼고 있다.

최근 일부 AI 모델에서 비정상적으로 과도한 도구 호출이 발생하는 버그가 발견되었다. 특정 모델은 한 번의 질문에 100회 가까이 도구를 호출하며, 이는 경량 모델임에도 불구하고 한 번 호출에 2만 원에 달하는 비용을 발생시키는 심각한 문제로 이어졌다. 이에 AI3는 해당 모델로 라우팅될 경우 도구 호출 횟수를 최대 20회로 제한하는 조치를 취했다. 이는 모델 자체의 오류가 수정되기 전까지 임시방편으로 비용 낭비를 막기 위한 전략이다. 이러한 대응은 AI 모델의 잠재적 버그로 인한 예기치 않은 비용 증가를 방지하기 위한 선제적인 노력이 중요함을 보여준다.