삼성전자·SK하이닉스, '메모리의 벽' 넘기 위해 GPU 위에 메모리 쌓는 3D 적층 기술 공개

인공지능 반도체 경쟁은 그동안 엔비디아와 같은 GPU를 얼마나 확보하느냐의 싸움이었다. 그러나 최근 반도체 기업들의 의견에 따르면 분위기가 달라져 GPU 부족만큼이나 GPU가 처리할 데이터를 제때 공급해 줄 메모리가 부족하다는 인식이 확산되고 있다. 아무리 비싸고 빠른 GPU를 설치해도 필요한 데이터가 도착하지 않으면 GPU는 계산하지 못하고 기다려야 하는 상황이다. 이를 '메모리의 벽'이라고 부른다.

삼성전자와 SK하이닉스가 공통적으로 제시한 '메모리의 벽' 해결책은 3D 적층 기술이다. 기존에는 GPU 옆에 HBM(고대역폭 메모리)이 위치했지만, 이제는 GPU 위에 HBM을 직접 쌓아 올리는 방식을 통해 데이터 전송 효율을 극대화하겠다는 전략이다. 이는 AI 시스템의 성능을 비약적으로 향상시키기 위한 핵심 기술로 주목받고 있다.

삼성전자는 이 기술을 ZHBM이라고 명명했다. ZHBM이 상용화되면 HBM 5 대비 GPU당 연산 성능은 최대 8배, 전력 대비 성능은 3배 개선될 것으로 전망하고 있다. 삼성전자는 수년 내에 ZHBM을 상용화하는 것을 목표로 삼고 있다.

ZHBM은 미래 기술인 만큼 구현을 위한 여러 기술적 과제를 안고 있다. 가장 중요한 과제 중 하나는 발열 제어다. 이를 해결하기 위해 삼성전자는 ZHBM의 D램 단수를 현재 HBM보다 줄이는 방안을 검토 중이다. HBM은 여러 개의 D램을 쌓아 TSV(실리콘 관통 전극)로 연결한 제품인데, 보통 HBM 4 12단은 D램이 12개 층으로 구성된다는 의미다. ZHBM은 이를 1단에서 4단으로 줄여 메모리 스택을 얇게 만들 계획이다. 이로써 GPU에서 발생하는 열이 위쪽으로 더 쉽게 빠져나가도록 하겠다는 구상이다. 대신 데이터를 수직으로 전송하는 TSV의 밀도는 10배로 높일 예정이다.

SK하이닉스도 비슷한 방향에서 '3D 적층 D램'이라는 개념을 공개했다. 3D 적층 D램은 D램을 GPU나 MPU(마이크로프로세서 유닛) 위에 직접 쌓아 올리는 구조를 의미한다. 이는 연산 장치와 메모리 간의 거리를 최소화하여 데이터 전송 속도를 극대화하는 것을 목표로 한다.

다만 SK하이닉스의 3D 적층 D램과 삼성전자의 ZHBM은 완전히 동일한 제품은 아니다. 삼성전자가 ZHBM을 기존 HBM을 발전시킨 형태로 설명하는 반면, SK하이닉스는 3D 적층 D램을 GPU 내부의 S램과 GPU 옆의 HBM 사이에 들어가는 새로운 메모리 계층으로 정의했다. SK하이닉스는 메모리 계층을 S램, HBM, D램, 로컬 SSD, CXL 풀드 메모리, 그리고 스토리지 서버의 여섯 가지로 나눈다. S램은 GPU 안에 들어가는 메모리 칩을 말하며, 연산 장치에 가까울수록 속도와 대역폭은 높지만 용량은 작고, 멀어질수록 속도는 느려지는 대신 대용량 데이터를 저장할 수 있다. 3D 적층 D램은 S램과 HBM 사이에 새로운 층을 하나 더 끼워 넣겠다는 구상으로, SK하이닉스는 이를 G0.5 계층이라고 표현했다.

기존 HBM은 비교적 표준화된 제품을 만들어 여러 고객에게 공급할 수 있었던 '커머디티'에 가까웠다. 그러나 메모리를 연산 장치 위에 직접 올리려면 GPU나 AI 가속기의 구조를 처음부터 함께 설계해야 한다. 연산 장치에서 어느 위치에 열이 많이 발생하는지, 데이터 연결 통로는 어디에 배치할지, 메모리를 몇 단까지 올릴지 등 고객별로 결정해야 할 사항이 많다. 결국 ZHBM과 3D 적층 D램은 단순히 메모리 제품이 아니라 엔비디아, AMD, 구글, 아마존 같은 AI 칩 설계 기업과 메모리 기업이 함께 만드는 맞춤형 시스템에 가까워지고 있다.

낸드플래시도 AI 시대를 맞아 중요한 변화를 겪고 있다. D램은 빠르지만 비싸고 전원이 꺼지면 데이터가 사라지는 반면, 낸드플래시는 D램보다 느리지만 전원이 꺼져도 데이터가 남고 같은 비용으로 훨씬 더 많은 데이터를 저장할 수 있다. 스마트폰, PC 저장 공간, 데이터 센터의 SSD에 주로 사용되는 낸드는 그동안 AI 시스템에서 데이터를 보관하는 창고 역할을 해왔다. 그러나 AI 모델이 커지면서 낸드를 단순한 저장 장치가 아니라 AI 연산에 직접 데이터를 공급하는 메모리로 활용하려는 시도가 시작되고 있다.

삼성전자는 'Z-낸드 온 디바이스'라는 새로운 제품을 공개했다. 이는 기존 낸드 칩을 TSV로 연결하여 4단 또는 8단으로 쌓은 제품이다. 지난해 삼성전자가 Z 시리즈를 재개발할 계획이라고 밝힌 바 있는데, 이번에 그 계획이 더욱 구체화된 것이다.

Z-NAND-O 기술은 데이터 센터가 아닌 PC나 워크스테이션과 같은 기기 내부에서 AI를 구동하는 '온디바이스 AI' 환경에 최적화되어 있다. 이는 기기 자체에서 AI 연산을 효율적으로 처리할 수 있도록 설계되었다는 의미다.

Z-NAND-O는 애플의 유니파이드 메모리(Unified Memory)와 유사한 구조를 염두에 둔 것으로 보인다. 애플 맥(Mac)에서는 CPU, GPU, AI 연산을 담당하는 뉴럴 엔진이 하나의 D램 공간을 함께 사용한다. 이로 인해 데이터를 각각의 메모리로 복사할 필요가 없어 빠르고 효율적인 연산이 가능하다. 그러나 AI 모델이 수천억, 수조 개의 파라미터를 사용하는 수준으로 커지면 이 모든 모델을 비싼 D램에 올려놓기가 어려워진다는 한계가 있다.

삼성전자의 구상은 D램만으로 구성된 유니파이드 메모리와 유사한 기기에 대용량 Z-NAND-O를 새로운 메모리 계층으로 추가하는 것이다. 즉, 즉시 처리해야 하는 데이터는 빠른 D램에 두고, 용량이 큰 AI 모델과 반복해서 읽어야 하는 데이터는 Z-NAND-O에 보관하여 전체 시스템의 효율성을 높이겠다는 전략이다.

SK하이닉스가 낸드 분야에서 내놓은 해법은 HBF(High Bandwidth Flash)이다. HBF는 고대역폭 플래시의 약자로, HBM과 비슷하게 여러 개의 메모리 칩을 쌓은 형태이지만, 내부에는 D램 대신 낸드플래시가 들어간다. 이는 낸드플래시의 장점인 대용량 저장 능력을 활용하면서도 높은 대역폭을 구현하려는 시도다.

SK하이닉스는 앞서 언급된 메모리 계층론에서 HBF를 HBM과 SSD 사이에 놓이는 새로운 층으로 정의했다. 이는 HBM보다는 느리지만 훨씬 큰 용량을 확보할 수 있다는 장점이 있다. HBF는 기존 SSD보다 AI 가속기에 훨씬 가까운 곳에서 더 빠르게 데이터를 공급하는 역할을 수행하며, AI 데이터 센터에서 중요한 역할을 할 것으로 기대된다.

삼성전자의 Z-NAND-O와 SK하이닉스의 HBF는 모두 낸드플래시를 여러 장 쌓아 대용량 데이터를 빠르게 공급한다는 기본 방향은 유사하다. 그러나 목표 시장과 전략에는 차이가 있다. 삼성전자의 Z-NAND-O는 PC나 워크스테이션과 같이 사용자의 기기 내부에서 대형 AI 모델을 구동하는 온디바이스 AI에 초점을 맞추고 있다. 반면 SK하이닉스의 HBF는 주로 AI 데이터 센터에서 HBM과 SSD 사이의 빈 공간을 채우는 새로운 서버용 메모리 계층을 목표로 한다.

삼성전자는 개별 제품과 시스템을 함께 설계하는 수직 통합 능력을 강조하고 있다. 삼성전자는 메모리뿐만 아니라 로직 반도체, 파운드리, 그리고 첨단 패키징 사업을 모두 영위하고 있다. Z-HBM처럼 메모리와 AI 가속기를 함께 설계하는 시대가 도래하면 이 모든 공정을 한 회사에서 제공할 수 있다는 점을 삼성전자의 강점으로 내세우고 있다.

SK하이닉스는 생태계 구축과 표준화를 강조하고 있다. 이번에 샌디스크와 함께 HBF의 첫 표준 규격을 공개했으며, 특정 회사만 사용하는 독자 규격이 아니라 개방형 데이터 센터 기술 협력체인 OCP(Open Compute Project)를 통해 누구나 활용할 수 있는 표준으로 만들고 있다. 현재 HBF 컨소시엄에는 구글과 AI 칩 스타트업인 스토런트도 참여하고 있다. SK하이닉스는 더 많은 GPU 기업, 클라우드 기업, 소프트웨어 기업을 끌어들여 HBF를 데이터 센터의 새로운 표준 메모리로 만들겠다는 계획이다.

이번 행사에서는 조용하게 성장하고 있는 중국 기업들의 위협도 감지되었다. 삼성전자와 SK하이닉스의 대항마로 떠오르고 있는 중국 양쯔메모리(YMTC)의 부스가 설치되어 있었다. 이전에는 시장 외곽에서 고객을 맞았지만, 이번에는 컨벤션 센터에서 약 1마일 떨어진 곳에 오피스를 두고 고객사를 맞고 있었다. 양쯔메모리 부스에서는 SSD 몇 쪽만 견본 형태로 전시되어 있었으나, 그 존재감은 무시할 수 없는 수준이었다.

업계에서 중국에 대해 느끼는 위기 의식은 상당히 높다. 한 한국 반도체 기업 임원은 중국 기업들이 '기분 나쁠 정도로 잘 한다'고 평가했다. 미국 한복판에서 열리는 행사임에도 중국 기업들이 '도광양회(韜光養晦, 빛을 숨기고 힘을 기른다)' 기조를 유지하고 있지만, 기술 추격 속도는 실제로 매우 빠르다는 것이다. 과거 중국이 가장 두려워했던 기업이 삼성전자였다면, 이제는 삼성전자가 가장 두려워하는 기업이 중국 기업이라는 말까지 나오고 있다. 올해 FMS에 부스를 낸 중국 기업은 총 11개사로, 지난해 4개사에서 세 배 가까이 늘었다.

FMS 행사를 맞아 프랑스 시장조사 업체 그룹은 한국이 2031년까지 메모리 최강국 지위를 유지할 것이라는 전망을 내놨다. 비록 낙관적인 전망이지만, 선두 자리를 유지하기 위해서는 앞으로도 더욱 과감한 혁신과 노력이 필요할 것이라는 의견이 제기되었다. 급변하는 AI 반도체 시장 환경과 중국 기업들의 맹추격 속에서 한국 기업들이 지속적인 기술 리더십을 확보하는 것이 중요해 보인다.