엔비디아 없는 AI 칩 경쟁, 해법은?

구글이 자체 칩을 8세대까지 고도화했음에도 구글 클라우드는 엔비디아의 차세대 베라루빈 시스템 도입을 지속한다. 단순 성능 비교를 넘어 워크로드 최적화와 시스템 연계가 핵심인 이번 전략에 따라 학습용인 TPU 8t와 추론·강화학습용인 TPU 8i로 구성된 8세대 TPU가 공개됐다.

자체 칩 기술을 8세대까지 고도화했음에도 구글 클라우드는 엔비디아의 차세대 베라루빈 시스템을 공급할 예정이다. 이는 단순한 칩 성능 비교를 넘어 워크로드 최적화와 시스템 연계가 AI 인프라의 핵심임을 보여주는 대목이다.

엔비디아는 GPU의 쿠다 코어 외에 2017년 도입된 텐서 코어를 통해 행렬 연산 효율을 높였다.

호퍼 아키텍처부터 본격 사용된 트랜스포머 엔진은 연산 정밀도를 조절하는 기능을 수행한다. 이를 통해 정확도가 중요한 계산은 높은 정밀도로, 낮은 정밀도로 처리 가능한 부분은 FP8 같은 형식을 사용하여 범용성을 유지하면서 AI 핵심 계산을 전용 회로로 처리한다.

구글은 제미나이와 같은 자사 서비스가 어떤 계산을 많이 하는지 정확히 파악하고 있다. 메타 또한 추천 및 광고 모델이 하루에 얼마나 많은 추론을 반복하는지 정확히 알고 있다.

구글은 제미나이 등 자사 서비스의 연산 특성을 정확히 파악하고 있다. 이를 통해 범용성을 갖추기보다 특정 기능 위주로 칩 공간을 할당해 효율을 높이는 최적화가 가능하다. 나아가 자사 외의 다양한 프로그램을 지원해야 하는 엔비디아 등 타사와의 차별점도 뚜렷해진다. 이러한 자체 칩은 학습용과 추론용으로 설계 목적이 상이하다.

학습용은 대규모 병렬 처리에 중점을 두지만, 추론용은 SRAM 용량 확대와 통신 최적화에 주력하여 특정 연산에 칩 면적을 할당한다.

AI 모델은 빠르게 변화하지만, 칩은 설계 및 검증부터 데이터 센터 적용까지 오랜 시간이 소요되어 모델 변화에 즉각 대응하기 어렵다.

칩 개발 중에 새로운 어텐션 구조나 연산 방식이 등장하면 전용 회로가 무용지물이 될 위험이 있다.

GPU는 소프트웨어 라이브러리 수정으로 모델 변화에 유연하게 대응할 수 있는 장점이 있다.

빅테크 기업들이 AI 칩을 직접 설계하는 이유는 사용자 증가와 연산 복잡도 상승으로 인한 추론 비용을 최적화하기 위함이다.

오픈AI는 자체 칩 개발을 위해 브로드컴과 구현 및 네트워크 협력, 셀레스티카와 보드 및 랙 시스템 협력을 진행한다. 자체 칩 도입은 엔비디아 GPU 물량 축소뿐만 아니라 최적화된 서비스 구현을 위한 전략적 선택으로 볼 수 있다.

엔비디아의 쿠다(CUDA)처럼 구글은 XLA 컴파일러를 통해 하드웨어와 모델 간의 가교 역할을 수행한다. TPU를 아무리 잘 만들어도 기존 모델을 전부 TPU에 맞게 다시 작성해야 한다면 사용하기 어렵기 때문이다.

XLA의 퓨전(Fusion) 기법은 반복적인 메모리 접근을 줄여 처리 효율을 높이는 핵심 기술이다. 이는 자체 칩 개발이 하드웨어뿐만 아니라 소프트웨어 생태계까지 내재화해야 하는 고난도 작업임을 시사한다.

엔비디아는 NVLink Fusion을 통해 고객의 자체 칩도 엔비디아의 고속 연결 기술로 묶어 시스템 내에 잔류하려는 전략을 구사한다.

NVHBM은 메모리 제어 회로를 HBM 베이스 다이로 옮겨 칩 면적을 25% 확보하고 대역폭을 30% 증가시키는 것을 목표로 한다.

AWS의 트레니움(Trainium) 사례처럼 자체 칩을 개발하는 기업들도 엔비디아의 연결 기술과 협력 체계를 유지하는 모습을 보인다.

이제는 엔비디아 GPU가 한꺼번에 사라지는 것이 아니라, GPU가 맡아왔던 일 중 반복이 많고 예측 가능한 작업부터 자체 칩으로 점진적으로 분리될 것으로 보인다.

구글, 메타, AWS 등 대규모 컴퓨팅 수요를 가진 기업만이 칩, 소프트웨어, 네트워크 통합 역량을 확보할 수 있다.

칩부터 소프트웨어, 네트워크까지 직접 만들 수 있는 회사만이 엔비디아 기술 의존도를 낮출 수 있지만, 이를 실현할 수 있는 기업은 많지 않다.

칩 개발비 외에도 모델 변경 시 컴파일러와 커널 수정, 수천 개의 칩을 연결할 네트워크 구축, 그리고 상시 가동 시스템 운영까지 필수적인 막대한 비용과 기술력이 요구된다.

자체 XPU(구글 TPU, AWS 트레니움, 마이크로소프트 마이아 등)가 늘어나더라도 데이터를 빠르게 가져오기 위해 HBM 수요는 지속되거나 오히려 증가할 수 있다.

엔비디아의 NVHBM 방식처럼 베이스 다이에 다양한 기능을 통합하는 추세가 강화되면서, 메모리 기업은 단순 공급을 넘어 고객사 XPU에 맞춘 베이스 다이 설계 및 검증 능력이 핵심 역량이 된다.

엔비디아 GPU가 일시에 대체되는 것이 아니라, 반복적이고 예측 가능한 작업부터 자체 XPU로 점진적으로 분리되는 양상이다. 구글 TPU, 아마존 트레니움, 메타 MTIA 등 빅테크별 맞춤형 연산 칩 활용이 확대된다.

이제 AI 반도체 시장의 핵심은 개별 칩 성능 비교보다 네트워크, HBM, 소프트웨어 등 시스템의 나머지 요소를 누가 점유하느냐에 달려 있다.