구글, 칩 두 개를 묶은 TPU 8i Max 발표…엔비디아 대항 경쟁이 추가 주문에서 먼저 드러날 수 있다

구글이 AI 반도체 TPU 8i Max를 발표했다. 이번 제품은 기존 칩 두 개를 한 패키지에 넣은 구성이다. 구글 설명에 따르면 연산 능력은 두 배, 메모리에서 데이터를 가져오는 속도(밴드위스)도 두 배로 늘었다.

TPU는 GPU와 마찬가지로 AI에 필요한 대량의 계산을 맡는 칩이다. 구글은 자사 AI 모델 재미나이를 만들고 서비스할 때 TPU를 쓰며, 외부 고객에게 이 칩을 공급하기도 한다. 영상은 이번 발표를 두고 엔비디아보다 낫다는 것인지, 더 싸게 AI를 돌릴 수 있다는 것인지를 질문하며 이를 세 가지 쟁점으로 나눠 살펴본다.

AI 칩 옆에는 HBM이라는 메모리가 붙어 계산에 필요한 데이터를 공급한다. 영상은 HBM을 볼 때 두 가지를 구분해야 한다고 설명한다. 하나는 얼마나 많이 담을 수 있는지인 용량이고, 다른 하나는 한 번에 얼마나 많이 실어 나를 수 있는지인 밴드위스다. 영상은 이를 물탱크와 수도관에 비유하며, 탱크가 커도 수도관이 가늘면 물이 쫄쫄 나온다고 말한다.

이번 8i Max는 데이터 공급 속도에 무게를 실었다. 연산 능력과 밴드위스를 각각 두 배로 맞췄고, HBM 용량은 기존 288GB에서 384GB로 늘어 약 33% 증가했다. 영상은 구글 설명대로라면 같은 공간에 연산용 실리콘을 두 배 넣을 수 있어 데이터센터가 같은 면적에서 더 많은 AI를 처리할 여지가 생긴다고 짚는다. 다만 실제 처리량은 돌리는 모델과 전력·냉각 조건에 달려 있다고 덧붙인다.

영상은 AI 운영에서 계산하지 않는 순간에도 메모리 자리를 차지하는 데이터가 있다고 설명한다. 예를 들어 긴 보고서를 주고 매출이 줄어든 이유를 찾게 한 뒤, 답을 받고 나서 해외 사원만 더 자세히 봐 달라고 묻는 경우가 있다. 이때 앞서 읽은 보고서 내용이 다시 필요하다.

이 때문에 AI는 후속 질문에 대비해 앞에서 읽은 내용의 중간 계산값을 저장해 둔다. 이를 KV 캐시라고 부른다. 계산값을 재사용하면 보고서 앞부분을 처음부터 다시 계산하는 일을 줄일 수 있다. 한 사람이 쓸 때는 작은 효과일 수 있지만, 긴 문서를 읽히는 사용자가 수천, 수만 명으로 늘면 보관해야 할 계산값도 빠르게 불어난다.

HBM에는 모델을 돌리는 데 필요한 데이터도 있고, 지금 답변하는 사람들의 계산값도 들어간다. 후속 질문을 기다리는 내용까지 모두 HBM에 두면 자리가 부족해진다. 구글이 공개한 TPU 싱크는 이 계산값을 옮기고 관리하는 소프트웨어다.

TPU 싱크는 당분간 쓰지 않을 내용을 서버의 일반 메모리로 보냈다가 필요할 때 다시 가져온다. 이렇게 하면 HBM 자리를 확보하면서 이전 계산도 재사용할 수 있다. 영상은 이 방식이 다시 계산하는 횟수를 줄이고, 확보한 HBM 공간으로 다른 요청을 받을 수 있게 한다는 두 가지 비용 절감 경로를 만든다고 설명한다. 구글은 데이터를 옮기는 동안에도 다른 계산을 진행하도록 만들었다고 한다.

구글은 긴 입력의 앞부분을 재사용하는 내부 테스트에서 첫 응답이 시작되기까지의 시간이 최대 90% 줄었다고 발표했다. 이는 이전 세대 TPU에서 TPU 싱크를 쓴 경우와 쓰지 않은 경우를 비교한 결과이며, 같은 내용을 여러 번 재사용할 수 있는 시험 조건에서 나온 효과다.

영상은 AI 사용 방식이 한 번 질문하고 끝내는 형태에서 같은 자료를 놓고 계속 수정하고 확인하는 쪽으로 옮겨 가고 있다고 짚는다. 그럴수록 앞서 처리한 내용을 얼마나 잘 재사용하느냐가 서비스 비용에 영향을 준다. 엔비디아도 다이나모라는 소프트웨어로 KV 캐시 재사용과 GPU 밖 메모리 활용을 지원하고 있다.

구글 TPU 싱크와 엔비디아 다이나모는 모두 AI를 실제로 운영할 때 생기는 낭비를 줄이기 위한 소프트웨어다. 칩의 계산 성능뿐 아니라 메모리 관리와 재사용이 서비스 비용을 좌우하는 요소가 되고 있다는 뜻이다.

고객이 원하는 것은 같은 품질의 답을 비슷한 속도로 받으면서 돈을 덜 내는 것이다. 영상은 이 조건을 맞춰야 어느 장비가 더 효율적인지 알 수 있다고 말한다. 분석 업체 세미 아날리시스가 이전 세대 TPU인 아이런우드와 엔비디아 장비를 비교한 시험이 있다. 긴 내용을 놓고 여러 번 대화하는 상황에서 GLM 5.2 공개 모델을 돌렸고, 양쪽 모두 FP8이라는 8비트 숫자 형식으로 계산했다.

그 조건에서 TPU는 B200과 B300을 포함한 비교 장비들보다 같은 돈으로 더 많은 답변을 만들었다. 다만 엔비디아 쪽 설정을 FP4라는 4비트 형식으로 바꾸자 대부분의 속도 구간에서 엔비디아가 비용 면에서 앞섰다. 숫자를 더 적은 비트로 표현하면 메모리를 덜 차지하고 옮길 데이터도 줄지만, 이 시험에서는 정확도가 조금 낮아지는 차이도 있었다.

따라서 어느 쪽이 더 싸냐는 질문에는 모델 이름과 설정이 함께 따라붙어야 한다. 고객이 쓰려는 모델에서 어느 정도의 정확도가 필요하고 답이 얼마나 빨리 나와야 하는지에 따라 결과가 달라진다. 이번 신형 8i Max를 엔비디아 장비와 직접 비교한 실측은 발표 자료에 없다. 영상은 번역 서비스에서는 사람이 고쳐야 하는 문장이 얼마나 늘어나는지, 코딩 서비스에서는 생성한 코드가 실제로 작동하는지를 따로 시험해야 할 것이라고 본다. 답변을 만드는 비용이 내려가도 잘못된 결과를 다시 처리하는 비용이 커질 수 있기 때문이다.

영상은 TPU가 특정 모델과 운영 조건에서 엔비디아와 비용을 비교해 볼 수 있는 선택지라고 정리한다. 고객 입장에서는 실제 서비스를 올려 보고 견적을 검증해 볼 이유가 생긴 셈이다.

가격을 비교한 회사가 다음으로 묻는 것은 지금 쓰던 프로그램이 잘 돌아갈지다. AI 회사들은 엔비디아 GPU를 기준으로 모델을 개발하고 서비스를 운영해 왔다. 개발자에게 익숙한 도구와 그 장비에 맞춰 최적화한 프로그램이 이미 있다.

만약 TPU로 옮기느라 개발팀이 오랫동안 매달려야 한다면, 서버 비용을 조금 아껴도 전체 비용은 더 들 수 있다. 구글이 파이토치 지원을 강화한 이유가 여기에 있다. 파이토치는 AI 개발에 널리 쓰이는 소프트웨어로, 구글은 개발자가 쓰던 모델과 도구를 TPU에서도 활용할 수 있는 경로를 넓혔다. 고객이 자기 서비스의 일부를 쉽게 시험해 볼 수 있게 한 것이다.

영상은 칩이 좋아도 개발자가 실제로 시험하기 어려우면 구매까지 이어지지 않는다고 말한다. 기존 도구로 성능을 확인하고 운영까지 해 볼 수 있어야 다음 주문이 생긴다는 것이다.

정부나 금융회사처럼 보안이 중요한 곳에는 또 다른 도입 조건이 있다. AI가 민감한 자료를 읽고 계산하는 동안에도 정보를 보호할 수 있어야 한다. 구글이 이번에 함께 발표한 TPU 8tx는 이런 고객을 겨냥했다.

TPU 8tx는 기존 AI 칩에 AMD 서버용 CPU를 조합해, 처리 중인 데이터와 모델의 내부 정보까지 하드웨어로 보호하도록 구성했다. 영상은 구글이 긴 입력을 처리하는 회사에는 메모리 성능을, 개발팀에는 기존 도구 지원을, 민감한 데이터를 다루는 곳에는 보안 기능을 제공하는 식으로 고객이 TPU를 도입하기 위한 조건을 하나씩 채우고 있다고 본다. 기존 칩을 활용해 시스템을 구성하면 새 반도체를 처음부터 설계하는 데 걸리는 시간을 줄일 수 있다는 점도 구글에는 장점이다.

여러 종류의 AI 칩을 함께 쓰는 회사도 있다. 클라우드 서비스를 만드는 Anthropic은 엔비디아 GPU, 구글 TPU, 아마존 트레이니움에서 모델을 학습하고 서비스한다고 밝히고 있다. 올해는 구글과 브로드컴을 통해 2027년부터 들어올 차세대 TPU 용량을 계약했고, 엔비디아 GPU 용량도 추가로 확보했다. 작업에 맞춰 여러 장비를 쓰면서 필요한 연산량을 늘려 가는 모습이다.

영상은 이를 근거로 엔비디아 대체가 기존 장비를 철거하는 형태보다 고객의 추가 주문에서 먼저 드러날 수 있다고 본다. AI 서비스 이용자가 늘어 서버를 더 확보해야 할 때, 일부 작업을 TPU에서 더 싸게 처리할 수 있다면 새로 필요한 물량의 일부를 구글에 맡길 수 있다. 기존 엔비디아 장비는 계속 돌아가면서 늘어나는 작업 중 일부를 TPU가 받는 방식이다. 이런 선택이 쌓이면 고객은 한 곳에 모든 물량을 맡기던 때보다 공급 조건을 비교하기도 쉬워진다.

영상은 이번 구글 발표를 보고 앞으로 확인해야 할 것은 고객들이 새로운 시스템에서 자기 모델을 돌렸을 때 나오는 비용과 품질이라고 정리한다. 구글이 늘린 연산 능력, 메모리 성능, 개선된 소프트웨어가 실제로 고객의 운영비 절감으로 이어지는지가 핵심이다. 그 결과가 좋아지면 엔비디아와 비교 견적을 내는 고객도 훨씬 많아질 것으로 보인다.