AI 칩 경쟁, 성능 넘어 '토큰당 비용' 절감으로 패러다임 전환

최근 AI 업계에서는 100만 토큰당 비용이 얼마인지를 기준으로 칩의 효율성을 평가하고 있습니다. 이는 반도체와 모델의 성능만으로 경쟁하던 시대가 지나고, 토큰을 얼마나 싸게 생산할 수 있는지가 빅테크의 승패를 좌우하는 핵심 요소가 되었음을 의미합니다. 이러한 변화는 각 업체가 토큰 가성비 전쟁에 뛰어들게 된 배경과 그들의 전략을 살펴보는 중요한 이유가 됩니다.

토큰은 AI가 글을 읽고 쓸 때 처리하는 가장 작은 단위를 의미합니다. AI는 사람처럼 단어나 문장의 의미를 이해하는 대신, 모든 텍스트를 아주 작은 토큰 단위로 나누어 정보를 처리하고 답변을 생성합니다. 우리가 일상적으로 사용하는 생성형 AI는 이러한 토큰 없이는 작동할 수 없으며, 각 토큰의 처리는 전기 및 연산 자원을 소모하여 직접적인 비용으로 연결됩니다.

AI 모델을 학습시키는 과정은 한 번의 대규모 투자를 통해 완료되는 일회성 비용입니다. 그러나 AI를 실제로 사용하는 '추론' 과정에서 발생하는 비용은 다릅니다. AI를 많이 사용할수록 비용이 무한히 누적되는 구조이기 때문에, AI 서비스 제공자 입장에서는 토큰을 얼마나 저렴하게 생성하는지가 곧 서비스의 경쟁력으로 직결됩니다.

과도한 토큰 비용을 감당하지 못해 문제가 발생하는 사례도 있습니다. AI 회사들이 사용량을 제한하기 시작한 것도 결국 토큰 비용 때문입니다. 실제로 앤트로픽은 2025년 8월 28일 자사의 유료 플랜인 클로드 프로와 맥스에 주간 사용 한도를 새로 도입했습니다. 일부 사용자들이 코딩 에이전트를 24시간 내내 백그라운드에서 실행하여 토큰 비용이 감당하기 어려운 수준이 되자, 앤트로픽이 이러한 정책을 내놓은 것입니다.

토큰 사용량이 급증하는 주된 이유는 AI 에이전트 시대가 열렸기 때문입니다. 과거 챗봇은 한 번 질문하고 한 번 답변을 받는 방식으로, 토큰 약 200개에서 2,000개 정도면 충분했습니다. 그러나 요즘 AI 에이전트는 스스로 정보를 읽고, 도구를 사용하며, 그 결과를 다시 확인하고 또 다른 도구를 사용하는 반복적인 루프를 실행합니다. 이 과정에서 각 단계마다 이전 맥락 전체를 다시 입력해야 하므로, 코딩 에이전트 하나가 하나의 작업을 처리하는 데 수백만 개의 토큰이 사용되기도 합니다.

AI 업계는 토큰 비용을 낮추기 위해 크게 두 가지 전략을 사용하고 있습니다. 첫째는 AI 모델 자체를 최적화하는 방법입니다. 중국의 딥시크나 미국의 프런티어 모델 대비 저렴한 키미 K3가 대표적인 예로, 모델 전체를 사용하는 대신 필요한 부분만을 선택적으로 사용하는 MOE(Mixture of Experts) 구조를 채택하여 효율을 높입니다. 이를 통해 100만 토큰당 수십 원대의 저렴한 가격으로 서비스를 제공하는 가성비 모델이 등장하고 있습니다. 이외에도 큰 모델을 작게 압축하는 '증류' 기법이나, 프롬프트 재사용을 통한 '캐싱' 같은 기술들도 토큰 비용 절감에 활용됩니다.

토큰 비용 절감을 위한 두 번째 전략은 반도체, 즉 하드웨어 최적화입니다. 초기 하드웨어 경쟁은 더 많은 비용을 들여 더 많은 GPU를 확보하는 단순한 구조였습니다. 그러나 AI 에이전트 시대, 즉 추론의 시대가 도래하면서 끝없이 토큰이 쌓이는 구조로 인해 경쟁 공식이 바뀌었습니다. 이제는 같은 비용과 전력으로 얼마나 많은 토큰을 효율적으로 처리할 수 있는지가 반도체 업계의 새로운 경쟁력으로 부상했습니다.

하드웨어 접근 방식은 크게 두 가지로 나뉩니다. 하나는 반도체 효율을 극대화하기 위해 극한으로 파고드는 것이고, 다른 하나는 엔비디아 의존에서 벗어나기 위한 대안을 모색하는 것입니다. 구글은 전자의 대표적인 사례로, 자사 AI 모델인 제미나이에 최적화된 전용 맞춤 칩 '프로즌 V2'를 개발 중입니다. 이는 범용성을 포기하는 대신 제미나이 모델에 특화하여 토큰 효율을 극대화하겠다는 전략입니다.

구글은 이미 AI 학습과 추론에 모두 사용 가능한 자체 AI 반도체 TPU를 보유하고 있습니다. 그러나 새로 개발 중인 프로즌 V2는 TPU와 차이가 있습니다. TPU는 엔비디아의 GPU처럼 제미나이를 포함한 여러 AI 모델을 구동할 수 있는 범용 칩인 반면, 프로즌 V2는 이러한 범용성을 포기하고 오직 제미나이의 구조와 데이터 처리 방식만을 위해 설계된 전용 칩입니다. '프로즌'이라는 이름 또한 제미나이의 구조를 칩에 새긴다는 의미에서 유래했습니다.

이는 어떤 모델이든 구동할 수 있는 유연성을 포기하고, 단 하나의 모델에 극단적으로 맞춤화하여 최대한의 토큰 효율을 끌어내겠다는 전략입니다. TPU와 같은 ASIC(주문형 반도체)까지는 여러 모델을 구동하는 범용성을 유지했지만, 프로즌 V2는 그마저도 내려놓는 단계에 이르렀습니다.

구글이 범용성을 버리고 특정 모델에 특화하는 전략을 택했다면, 세레브라스는 기존의 틀을 벗어난 거대한 칩을 개발하고 있습니다. 세레브라스는 '세계에서 가장 빠른 AI 추론은 세계에서 가장 큰 칩에서 나온다'는 슬로건 아래, 12인치 접시 크기의 웨이퍼 한 장을 그대로 하나의 거대한 칩으로 사용합니다. 이는 엔비디아 등 기존 업체들이 우표만 한 칩 여러 개를 연결하는 방식과는 정반대의 설계입니다. 세레브라스의 칩은 엔비디아 B200 칩보다 58배 더 큰 것으로 알려져 있으며, 칩 간 연결 병목 현상이 없어 지연 시간을 최소화할 수 있습니다. 실제로 세레브라스는 이번 달 오픈 AI의 최신 모델 GPT 5.6을 자사 칩으로 제공하기 시작했는데, 일반적인 엔비디아 H 클러스터의 프런티어 모델 구동 속도보다 약 10배 빠른 초당 750토큰의 처리 속도를 기록했습니다.

세레브라스는 지난 5월 나스닥에 상장하여 첫날 주가가 68% 급등하며 시장의 큰 주목을 받았습니다. 이러한 시장의 기대는 실제 대형 계약들로 뒷받침되고 있습니다. 이는 세레브라스가 새로운 하드웨어를 활용하여 효율적으로 토큰을 생성해내고 있다는 의미로 해석될 수 있습니다.

AI 가속기 시장 점유율 90%에 달하는 엔비디아는 GPU 한 대당 높은 마진을 남기는 것으로 알려져 있습니다. 따라서 빅테크 입장에서는 엔비디아에 지불하는 프리미엄을 줄일 수 있다면 그만큼 토큰 비용을 절감할 수 있을 것으로 기대하고 있습니다.

마이크로소프트는 토큰당 비용을 낮추기 위해 AMD의 '헬리오스' 시스템을 도입했습니다. 헬리오스는 AMD의 GPU, CPU, 네트워킹을 하나의 랙으로 통합한 시스템입니다. 메타, 오픈AI, 오라클에 이어 마이크로소프트까지 헬리오스 대열에 합류했습니다. 마이크로소프트가 헬리오스에 주목한 배경에는 AMD의 전략 변화가 있습니다. AMD는 그동안 개별 칩 판매에 주력했지만, 헬리오스부터는 완제품 랙 시스템으로 승부수를 던졌습니다. 이는 칩 하나하나의 속도보다는 랙 전체의 최적화를 통해 얼마나 저렴하게 토큰을 생산할 수 있는지에 집중하려는 전략의 일환입니다.

마이크로소프트 입장에서 헬리오스는 초기 비용이 결코 저렴한 선택이 아닙니다. 헬리오스 한 대의 가격은 500만에서 550만 달러(한화 약 74억 원에서 81억 원) 수준으로, 경쟁사인 엔비디아의 베라루빈보다 약 40% 더 비쌉니다. 그럼에도 불구하고 마이크로소프트를 비롯한 기업들이 이처럼 높은 초기 비용을 감수하는 이유는, 장기적으로 AI 서비스를 운영할 때 발생하는 토큰당 운용 비용을 크게 낮춰줄 것으로 기대하기 때문입니다.

마이크로소프트와 같은 대형 고객을 확보함으로써 헬리오스는 AMD의 시장 점유율에 큰 영향을 미칠 것으로 분석됩니다. 퓨처럼 그룹의 보고서에 따르면, 현재 데이터 센터 GPU 시장의 95% 이상을 장악하고 있는 엔비디아의 점유율을, 현재 4.5%에 불과한 AMD가 20%에서 25%까지 확대할 수도 있을 것으로 전망됩니다.

자체 칩 개발 시도는 지속적으로 이어지고 있습니다. 구글의 프로즌처럼 극단적인 방식은 아니더라도, 자사 서비스에 최적화된 추론 칩을 개발하는 추세입니다. 마이크로소프트도 자체 칩 개발에 참여하여 2026년 1월 기존 대비 30% 효율을 높인 '마이아 200'을 출시할 예정입니다. 자체 칩 개발에서 가장 눈에 띄는 성과를 보인 곳은 아마존입니다. 아마존이 만든 '트레이니엄 3'로 AI를 구동하면 100만 토큰 처리 비용이 0.28달러에 불과합니다. 이는 H210을 클라우드에서 가장 저렴한 스팟 요금제로 이용할 때 드는 0.61달러에 비해 훨씬 저렴한 수준입니다. 트레이니엄 3는 올해 하반기부터 본격 가동될 예정입니다. 이처럼 자체 칩을 직접 만드는 회사들이 늘고 있으며, 오픈AI는 지난 6월 첫 자체 칩인 '할라피뇨'를 공개했는데, 목표는 엔비디아 GPU보다 토큰당 추론 비용을 50% 줄이는 것입니다. 메타 또한 지난 4월 브로드컴과 협력하여 자체 칩 'MTR'을 1GBW 규모로 배치하는 계약을 체결했습니다.

시장의 절대 강자인 엔비디아도 이러한 변화에 적극적으로 대응하고 있습니다. 엔비디아는 차세대 랙 시스템인 '베라루빈 NVL 72'를 앞세워 토큰 비용 절감에 나섰습니다. NVL 72는 GPU 루빈과 CPU 베라 등 7개의 칩을 하나의 랙 단위로 통합하여 추론 효율과 토큰 처리 비용을 낮추는 데 중점을 둡니다. 엔비디아는 NVL 72가 전작인 그레이스 블랙웰 대비 메가와트당 토큰 처리율을 최대 10배까지 끌어올릴 것으로 예상하고 있습니다.

흥미로운 점은 마이크로소프트나 구글과 같이 탈 엔비디아를 모색하는 빅테크들조차 자사의 클라우드 서비스에는 엔비디아의 베라루빈 시스템을 병행하고 있다는 사실입니다. 이는 빅테크들의 강력한 도전에도 불구하고 당장은 엔비디아라는 거대한 생태계를 완전히 벗어나기 어렵다는 현실을 보여줍니다. 엔비디아는 여전히 시장에서 압도적인 점유율을 유지하고 있으며, 특히 엔비디아의 핵심 무기인 CUDA 소프트웨어 생태계가 강력한 락인(Lock-in) 효과를 발휘하고 있기 때문입니다.

구글이나 세레브라스처럼 극단적인 하드웨어 효율을 추구하거나, 마이크로소프트와 같은 빅테크들이 탈 엔비디아를 지향하는 행보는 AI 반도체 경쟁의 판도가 변화했음을 명확히 보여줍니다. 각기 다른 접근 방식을 취하고 있지만, 이들 모두는 '토큰당 비용을 어떻게 하면 극적으로 낮출 것인가'라는 하나의 목표를 향해 나아가고 있습니다. 골드만삭스는 전 세계 월간 AI 토큰 사용량이 2030년에는 현재보다 24배 증가하여 5조 개에서 12경 개에 이를 것으로 전망하고 있습니다. 이에 따라 앞으로 토큰 가성비 경쟁은 더욱 치열해질 것으로 예상됩니다.