엔비디아의 HBM 용량 축소 보도, 실제로는 가능성 희박

최근 엔비디아가 HBM 용량을 줄일 수 있다는 언론 보도가 나오면서 시장에 혼란이 일고 있습니다. 인포마켓 강용운 대표는 이러한 보도가 HBM에 대한 정확한 이해 없이 이루어진 오보일 가능성이 높다고 지적했습니다. 그는 HBM의 용량이 단순한 저장 공간을 넘어 AI 연산에 있어 매우 중요한 요소라고 강조하며, 보도 내용에 대한 설명을 하지 않을 수 없다고 밝혔습니다.

강 대표는 HBM의 대역폭만큼이나 용량 또한 중요하며, 이는 AI 모델의 성능에 직결되는 부분이라고 덧붙였습니다.

HBM의 대역폭과 용량은 서로 다른 개념으로 이해해야 합니다. 강용운 대표는 대역폭을 '속도'에 비유하며, 초당 얼마만큼의 신호를 주고받을 수 있는지를 나타낸다고 설명했습니다. 반면 용량은 '그릇의 크기'와 같다고 비유하며, 얼마나 많은 데이터를 담을 수 있는지를 의미한다고 밝혔습니다.

특히 AI 연산 환경에서는 이 용량의 중요성이 매우 커지는데, AI 모델의 핵심 데이터인 모델 가중치가 HBM에 상주해야 하기 때문입니다.

AI 모델 가중치는 항상 HBM에 상주해야 하는 핵심 데이터입니다. 예를 들어, HBM 용량이 288GB라면 이 중 상당 부분인 100GB를 모델 가중치가 차지하게 됩니다. 이처럼 모델 가중치가 HBM 용량의 큰 부분을 차지하고 있기 때문에, 언론 보도에서 언급된 것처럼 HBM 용량을 288GB에서 192GB로 단순하게 낮추는 것은 실제 AI 운영 환경을 고려하지 않은 발언이라는 지적입니다.

강용운 대표는 이러한 보도가 모델 가중치의 중요성을 제대로 이해하지 못한 데서 비롯된 것이라고 분석했습니다.

HBM 용량을 겉보기에 33% 축소한다고 해도, 실제 AI 추론에 사용 가능한 유효 공간은 절반 이하로 급감하게 됩니다. 예를 들어, 288GB HBM에서 모델 가중치가 100GB를 차지하고 남은 188GB가 추론 용량으로 사용되던 상황에서, HBM 용량이 192GB로 줄어들면 모델 가중치가 동일하게 100GB를 차지해도 남는 추론 용량은 92GB로 줄어듭니다.

이는 겉으로는 33% 감소하는 것처럼 보이지만, 실제 추론에 사용할 수 있는 공간은 188GB에서 92GB로 절반 이하인 약 48% 수준으로 줄어드는 효과를 가져옵니다. 따라서 HBM 용량 축소는 AI 연산 효율에 치명적인 영향을 미칠 수 있습니다.

SK하이닉스나 삼성디스플레이 등 HBM 제조사들은 모델 가중치를 HBM이 아닌 HBF(HBM-Free) 기술을 통해 별도로 분리하여 HBM의 유효 공간을 늘리려 하고 있습니다. 이는 HBM의 부담을 줄이고 효율성을 높이려는 시도입니다. 그러나 엔비디아는 이러한 HBF 기술에 대해 탐탁지 않게 생각하는 입장입니다.

엔비디아는 이미 자사의 CMX(Compute Express Link Memory eXpansion)라는 별도의 랙 시스템을 통해 메모리를 확장하는 솔루션을 가지고 있기 때문에, 굳이 HBF와 같은 외부 기술을 도입할 필요성을 느끼지 못하고 있습니다. 이러한 엔비디아의 자체 솔루션 선호는 HBM 용량 축소 논의에 영향을 미칩니다.

모든 AI 작업이 HBM 고용량을 요구하는 것은 아니지만, 특정 조건에서는 고용량 HBM이 필수적입니다. 강용운 대표는 긴 컨텍스트(Long Context)를 처리해야 하거나, 고활성(High Activity) 작업, 그리고 높은 루프 밀도(High Loop Density)를 요구하는 작업에는 무조건 HBM 고용량이 필요하다고 설명했습니다.

반대로 루프 밀도가 낮고 저활성인 에이전트, 즉 실시간 반응이 중요하지 않고 천천히 처리되어도 문제가 없는 작업의 경우에는 CMX와 같은 다른 솔루션으로 모델 가중치를 뺄 수도 있습니다. 하지만 이러한 저활성 작업의 비중은 많지 않으며, 대부분의 고성능 AI 모델은 HBM 고용량을 요구합니다.

최신 AI 모델의 개발 추세는 컨텍스트 길이가 더욱 길어지고, 고활성 작업이 늘어나며, 루프 밀도도 높아지는 방향으로 나아가고 있습니다. 이러한 추세는 HBM의 고용량 필요성을 더욱 증대시키고 있습니다. 따라서 엔비디아가 HBM 용량 축소를 검토한다는 이야기는 단순한 내부 검토에 그칠 가능성이 높습니다.

실제 AI 기술 발전 방향과 엔비디아의 전략적 입장을 고려할 때, HBM 용량을 낮추는 시도는 성공하기 어려울 것이라는 분석입니다.

현재 HBM 공급이 충분하지 않은 상황에서 엔비디아는 다양한 HBM 공급사들의 제품을 섞어 쓰는 '믹스 전략'을 채택할 것으로 보입니다. 각 회사의 HBM 제품이 특징과 스펙이 다르기 때문에, 이를 활용하여 효율적인 자원 배분을 하겠다는 의도입니다.

예를 들어, 고단화가 어렵거나 특정 스펙에 특화된 HBM 제품은 판독용이나 저활성·저밀도 에이전트 처리용으로 배정하고, 단수도 높고 용량이 높은 하이엔드 HBM은 핵심적인 고성능 모델에 사용하겠다는 전략입니다. 이는 HBM 공급 부족 상황을 다각적으로 해결하려는 노력의 일환입니다.

HBM 시장에서는 치열한 경쟁과 함께 다양한 역정보가 흘러 다니고 있습니다. 과거 세마이애널리시스가 HBM4와 관련하여 마이크론이 실패했다는 식으로 분석을 내놓았으나, 이는 사실 역정보였던 것으로 밝혀진 바 있습니다. 강용운 대표는 이러한 사례를 들며 현재 HBM 시장 또한 경쟁사 간의 치열한 암투가 벌어지고 있으며, 온갖 허위 정보나 과장된 정보가 유포될 수 있음을 경고했습니다.

투자자들은 이러한 시장의 잡음에 현혹되지 않고, 정확한 정보와 기술적 이해를 바탕으로 판단해야 한다고 강조했습니다.

HBM 수요는 현재 엄청난 수준이며, 지속적인 공급 부족 상태가 이어지고 있습니다. 이러한 상황에서 엔비디아는 어떻게든 HBM 확보 방안을 모색하고 있습니다. 강용운 대표는 엔비디아가 HBM 용량 축소와 같은 이야기를 흘리는 것이 HBM 공급사들을 상대로 한 '협상 카드'일 수 있다고 분석했습니다.

즉, HBM 제조사들을 압박하여 가격 인하를 유도하거나 공급 조건을 자신에게 유리하게 이끌어내기 위한 전략적 의도가 숨어 있을 수 있다는 해석입니다. 막대한 수요와 공급 부족이 지속되는 한, HBM 시장의 이러한 역학 관계는 계속될 것으로 보입니다.