엔비디아, 메모리 헤게모니 장악하나

엔비디아가 최근 'NVHBM'이라는 새로운 기술을 발표하며 HBM(고대역폭 메모리) 아키텍처에 변화를 시도하고 있습니다. 이 기술의 핵심은 HBM의 베이스 다이에 메모리 컨트롤러를 직접 통합하는 것입니다. 이러한 통합은 메모리 접근 효율성을 높이고 전체 시스템의 성능을 향상하는 데 기여할 것으로 기대됩니다.

기존 HBM 시스템에서는 메모리 컨트롤러가 GPU 내부에 위치하는 것이 일반적이었습니다. 이는 제조 난이도나 기술적 한계 등의 이유 때문이었지만, 엔비디아는 이 컨트롤러를 HBM의 베이스 다이로 원위치시키는 방안을 추진하고 있습니다. 이로써 메모리 접근 경로를 최적화하여 전체적인 데이터 처리 효율성을 극대화하려는 전략입니다.

HBM의 베이스 다이는 현재 TSMC가 주로 생산하고 있습니다. 이 베이스 다이에 메모리 컨트롤러까지 통합되면, 작은 공간 안에 발열 문제를 해결하면서 더욱 복잡한 회로를 집적해야 하는 고난도 기술이 요구됩니다. 이러한 복잡성 증가는 베이스 다이 제조 및 고난도 회로 통합 능력에서 앞선 TSMC의 기술적 독점력을 더욱 강화할 것이라는 분석이 나옵니다.

NV링크 퓨전은 엔비디아가 자랑하는 NV링크를 타사의 칩셋에서도 자유롭게 사용할 수 있도록 변형한 것으로, 칩 간의 고속 연결을 가능하게 합니다. 아마존 AWS의 트레니엄 칩에 최초로 도입되어 그 활용 가능성을 보여주고 있습니다.

NV링크는 서데스(SerDes) 기반의 물리 계층(PHY)에 데이터 전송 프로토콜을 얹어 구성됩니다. 물리 계층은 데이터가 실제로 오가는 물리적 통로를 의미하며, 이는 상하수도관과 같은 물리적 실체로 비유할 수 있습니다. 그 위에 적용되는 전송 프로토콜은 데이터가 이 통로를 통해 어떻게 전달될지에 대한 규칙을 정의하여 안정적이고 효율적인 데이터 통신을 가능하게 합니다.

엔비디아는 메모리 컨트롤러를 베이스 다이에 통합하는 것과 함께 NV링크 퓨전을 이용해 칩과 HBM을 연결하는 방식을 직렬로 전환하려 합니다. 기존의 병렬 신호 방식을 직렬로 바꾸면, 신호 전송 거리를 늘리고도 안정적인 통신을 유지할 수 있어 효율적인 시스템 설계를 가능하게 합니다. 이는 HBM 연결 아키텍처의 중요한 변화를 의미합니다.

엔비디아의 새로운 HBM 연결 방식은 과거 마이크론에서 시도했던 '하이브리드 메모리 큐브(HMC)' 기술과 유사성을 보입니다. HMC 또한 베이스 다이에 메모리 큐브를 포함하고, 베이스 다이와 GPU 간의 신호 연결을 직렬 방식으로 처리했습니다. 이처럼 과거에 시도되었던 아키텍처를 엔비디아가 다시 도입하려는 움직임은 기술 발전과 함께 HMC의 단점을 보완하여 새로운 가능성을 모색하는 것으로 해석될 수 있습니다.

엔비디아는 삼성전자와 비밀리에 공동 연구를 진행하며 새로운 기술을 검증해왔습니다. 삼성전자는 이 과정에서 HBM 수율 개선에 성공했으며, 양사는 HBM 및 PCB 실장 방식에 대한 협력을 이어왔습니다. 이러한 협력은 엔비디아가 새로운 HBM 아키텍처를 도입하는 데 있어 삼성전자의 기술력을 중요한 파트너로 활용했음을 시사합니다.

엔비디아와 삼성전자는 HBM을 인터포저 없이 PCB에 직접 실장하는 기술을 공동으로 검토했습니다. 이는 서데스(SerDes) 기술의 발전에 힘입어 가능해진 방식으로, 기존 인터포저를 통한 연결 방식을 대체하여 시스템 설계를 간소화하고 비용 효율성을 높이려는 시도입니다. PCB 직접 실장은 HBM 통합 방식에 있어 유연성을 제공할 수 있습니다.

직렬 연결 방식의 핵심 기술인 서데스(SerDes) 기술은 최근 비약적인 발전을 이루었습니다. 현재 서데스 기술은 448Gbps에 달하는 높은 데이터 전송 속도를 달성했습니다. 이러한 기술 발전은 HBM 연결 방식의 변화를 가능하게 하며, 더욱 빠르고 효율적인 데이터 통신을 지원하는 기반이 됩니다.

엔비디아는 현재 HBM 제조 기술이 물리적 한계에 도달했다고 판단하고 있습니다. 특히 12단, 16단 이상의 수직 적층 시 TC 본딩 기술의 한계와 하이브리드 본딩 구현의 현실적인 어려움이 문제로 지적됩니다. 이러한 인식은 엔비디아가 기존의 수직 적층 방식에서 벗어나 HBM의 수평 배치로 전략을 변경하는 중요한 배경이 됩니다.

이 방식은 초광폭 병렬 연결에서 발생하는 신호 스큐(Skew) 문제를 해결해야 하는 과제가 있지만, HBM 탑재량 증대와 함께 메모리 배치에 대한 높은 자유도를 확보할 수 있습니다. 결과적으로 시스템 설계의 유연성을 높이고 공간 제약을 효과적으로 극복할 수 있을 것으로 기대됩니다.

HBM이 엔비디아의 시스템에 맞춤형으로 통합되고 NV링크가 표준화될 경우, 메모리 업체들은 단순한 범용 부품 공급업체로 전락할 수 있다는 우려가 제기됩니다. 엔비디아는 이를 통해 맞춤형 HBM 시장에서 강력한 헤게모니를 확보하려는 전략을 추진하고 있습니다.