김정호 교수, "GPU 발전 멈췄다…데이터센터는 메모리 팩토리 될 것"

김정호 카이스트 교수는 HBM이 디램을 쌓은 형태라고 설명하며, SK하이닉스가 용량을 열 배 더 크게 낸드 플래시를 쌓는 HBF를 제안했다고 밝혔습니다. 삼성전자가 주장하는 GHBM(zHBM)은 GPU 위에 HBM을 놓는 구조인데, 김 교수는 GPU 발열로 메모리가 녹을 수 있는 문제점을 지적했습니다. 이에 김 교수 연구실은 HBM을 쌓고 그 위에 GPU를 놓는 역발상 구조인 tHBM을 연구 중이라고 공개했습니다.

마치 머리 위에 얼음을 얹히는 것과 같다고 비유하며, 발열 문제 해결에 유리함을 강조했습니다.

김정호 교수는 엔비디아가 삼성과 SK하이닉스에 대한 의존도가 커지는 상황에 복잡한 심경을 가지고 있다고 언급했습니다. 이에 엔비디아는 메모리를 쌓지 않고 외부에 연결하는 '연립주택 같은' 방식을 모색 중이라고 설명했습니다. 이는 낸드 플래시를 USB처럼 외부 스토리지로 광통신 연결하여 공급하는 방식입니다.

이는 AI 시대에 데이터 처리의 병목 현상이 GPU 성능보다는 메모리 용량과 속도에서 발생한다는 통찰을 바탕으로 합니다. 따라서 메모리 기술이 AI 인프라의 핵심 동력으로 자리매김할 것이라는 전망입니다.

당시 인터넷 파일 송수신에 필요한 저장 공간의 증대를 예측했고, 이후 AI 기술의 발전을 만나면서 메모리 연구가 더욱 중요해지는 좋은 기회를 맞았다고 밝혔습니다. 이는 메모리가 데이터 처리와 저장의 핵심 역할을 한다는 그의 오랜 신념이 AI 시대에 빛을 발하고 있음을 보여줍니다.

김정호 교수는 HBM이 일반 시민도 아는 대중적인 주제가 되면서 연구실 내에서 HBM 연구를 계속해야 할지 고민이 있었다고 밝혔습니다. 삼성과 SK하이닉스가 수백조 원을 투자하여 공장을 짓는 상황에서 소규모 연구실이 경쟁력을 가질 수 있을지에 대한 회의감이 있었으나, 학생들의 지속 요청으로 연구를 이어가고 있다고 전했습니다. 이는 연구의 방향성과 의미에 대한 진지한 성찰과 열정을 보여주는 대목입니다.

김정호 교수는 인공지능이 처리해야 할 '컨텍스트 토큰'의 양이 기하급수적으로 늘어나고 있다고 설명했습니다. 과거에는 간단한 질문만 처리했지만, 이제 AI가 문서와 유튜브를 참고하며 답을 도출하는 과정에서 수만에서 수백만 토큰이 입력으로 들어가게 됩니다. 이는 정확한 답변을 위해 필수적이며, GPT 초기 모델이 1천 토큰이었던 것에 비해 현재는 100만 토큰까지 늘어나 메모리 용량이 1천 배 더 필요해졌다고 강조했습니다. 결과적으로 AI 계산량 증가와 함께 HBM의 중요성도 커지고 있습니다.

김정호 교수는 AI가 기억해야 할 정보가 점점 많아지고 있으며, 이를 '쇼트 메모리'와 '롱텀 메모리'로 구분했습니다. HBM 계열 메모리는 쇼트 메모리, 낸드 메모리는 롱텀 메모리 역할을 하며 AI가 과거의 대화를 기억하고 지속적으로 똑똑해지는 데 필수적입니다. 김 교수는 결국 AI의 지능은 메모리의 용량과 속도에서 비롯된다고 결론 내리며, 메모리 기술의 중요성을 다시 한번 강조했습니다.

AI가 입력 토큰을 받아 내부 언어로 번역하는 과정에서 생성되는 'KV 캐시'의 용량이 수백, 수천 배로 늘어나면서 문제가 발생하고 있다고 김정호 교수는 지적했습니다. 이전에는 이 KV 캐시를 HBM에 저장했지만, HBM만으로는 더 이상 늘어나는 용량을 감당할 수 없게 된 것입니다. 이에 김 교수는 HBM보다 용량이 10배 큰 낸드 플래시를 쌓는 방식, 즉 HBF의 필요성을 강조하며 '쌓자'는 자신의 평생 기술적 주장을 다시 한번 역설했습니다.

김정호 교수는 낸드 플래시를 쌓은 HBF의 필요성이 작년 여름부터 커졌다고 설명했습니다. 이는 KV 캐시의 컨텍스트 길이가 급격히 늘어나기 시작한 시점과 일치하며, 특히 대규모 언어 모델(LLM)의 '추론' 과정에서 할루시네이션(환각) 없이 정확한 정보를 제공하기 위해 중요하다고 강조했습니다. HBM만으로는 KV 캐시 저장이 불가능해지자 HBF 개념이 부상했고, 샌디스크와 SK하이닉스도 비슷한 아이디어를 동시에 내놓았다고 덧붙였습니다.

지난 2월부터 관련 발표가 시작된 것으로 보이며, 이는 HBF가 차세대 메모리 기술로서 상업적 중요성이 커지고 있음을 시사합니다. 두 회사의 협력은 HBF 기술의 확산에 중요한 역할을 할 것으로 예상됩니다.

엔비디아는 높은 기술력과 시장 지배력을 바탕으로 독자적인 생태계를 구축하려는 경향이 강하며, 특정 메모리 제조사에 대한 의존도 심화는 이러한 전략에 부담으로 작용할 수 있습니다. 따라서 엔비디아는 HBF 외의 대안을 모색하고 있는 것으로 보입니다.

엔비디아는 HBM처럼 고층으로 쌓지 않고 외부 스토리지인 EBM(External Bulk Memory)을 활용하는 방식을 모색하고 있다고 김정호 교수가 설명했습니다. 이는 HBM과 같은 고층 건물 형태가 아닌, 연립주택처럼 저렴하게 짓는 방식으로 ESSD를 변형하여 용량을 높인 뒤 USB처럼 광통신으로 GPU 외부에 연결하는 형태입니다. 김 교수는 GPU 옆에 최대한 가깝게 붙여야 속도가 나고 성능이 발휘된다고 주장하지만, 엔비디아는 광이나 구리 연결을 통해 외부에 큰 용량의 스토리지를 두고 활용하려 한다고 덧붙였습니다. 이로 인해 요즘 낸드 플래시의 수요가 증가하고 있으며, 샌디스크, 키옥시아, 삼성 등 주요 낸드 제조사들의 판매량 증가에 영향을 미치고 있습니다.

김정호 교수는 메모리 기술의 두 가지 핵심 목표가 용량과 속도를 높이는 것이며, 이 둘을 동시에 높이는 것이 가장 이상적이라고 설명했습니다. 현재 HBM은 GPU 옆에 놓여 있어 데이터 전송 시 엘리베이터를 타고 1층으로 내려와 도로를 거쳐야 하는 병목 현상이 발생합니다. 이를 해결하기 위해 GPU 위에 HBM을 직접 놓는 zHBM(GHBM) 구조가 제안되었는데, 이는 데이터 전송 경로를 단축하여 속도를 크게 높일 수 있습니다. 그러나 김 교수는 zHBM의 본질적인 문제점으로 GPU 발열을 지적했습니다. 뜨거운 GPU 위에 HBM이 직접 적층되면 메모리가 녹아버릴 수 있다는 우려를 표명하며, 이러한 방식의 한계를 강조했습니다.

김정호 교수는 자신의 연구실에서 진행 중인 tHBM(탑-HBM) 연구를 오늘 처음으로 외부에 공개한다고 밝혔습니다. tHBM은 기존 zHBM과 달리 HBM을 먼저 쌓고 그 위에 GPU를 놓는 역발상 구조입니다. 이 방식의 가장 큰 장점은 맨 위에 위치한 GPU에 냉각 팬을 쉽게 설치하여 효율적인 냉각이 가능하다는 점입니다. 이는 GPU 발열로 인한 메모리 용해 문제를 해결하고, 고성능 컴퓨팅 환경에서 안정성을 확보하기 위한 혁신적인 접근으로 평가됩니다.

김정호 교수는 삼성의 GHBM(zHBM)이 HBM의 용량은 비슷하지만 속도를 높이기 위해 상하로 쌓는 방식이라고 설명했습니다. 반면, 김 교수 연구실에서 제안하는 tHBM은 이와 반대로 HBM을 먼저 쌓고 그 위에 GPU를 배치하는 구조로, 냉각 효율성을 극대화하는 데 중점을 둡니다. 두 기술 모두 HBM 적층 방식의 혁신을 시도하지만, 발열 문제 해결 방식에서 근본적인 차이를 보입니다.

기존 메모리가 표준화된 제품으로 누구나 값싼 것을 선호하는 '메모리 사이클'에 갇혀 있었던 것과 대조적입니다. CHBM은 HBM의 베이스 다이에 계산기나 CPU 기능이 통합되어 GPU와 함께 초기 설계부터 맞춰져야 합니다. 이는 표준화된 제품이 아닌 맞춤형 제품이 되므로, 생산 수량과 가격이 설계 단계에서부터 결정되어 가격이 떨어질 일이 없다는 점을 강조했습니다.

맞춤형 HBM인 CHBM의 확산은 이러한 변화를 가속화할 것이며, 메모리 시장의 공급자와 수요자 간 관계, 가격 결정 방식 등 전반적인 생태계에 근본적인 변화를 가져올 것으로 예상했습니다. 이는 메모리 산업이 단순 부품을 넘어 고부가가치 시스템 솔루션 영역으로 진화하고 있음을 시사합니다.

김정호 교수는 AI 반도체 시장이 메모리 중심으로 변화하고 있으며, AI 모델 자체의 차이는 거의 없어졌다고 분석했습니다. 이제는 AI의 부가가치가 인프라로 이동했으며, 오픈AI와 같은 기업의 수익 중 70%가 인프라 비용으로 지출될 정도라고 설명했습니다. 그는 AI 인프라의 핵심 요소로 메모리와 전력을 꼽으며, 미래의 AI 데이터센터는 '메모리 팩토리'이자 전기가 핵심이 되는 공간이 될 것이라고 강조했습니다. 젠슨 황 엔비디아 CEO가 이를 'AI 팩토리'라 부르지만, 그 안은 결국 메모리로 가득 차 있을 것이라는 설명입니다. 결국 AI는 막대한 자본 싸움이 되었으며, 이를 감당할 수 있는 국가는 미국과 중국만이 남은 것 같다고 평가했습니다.

그는 한국 기업이 메모리 분야에서 대체 불가능한 고성능·대량 생산 체제를 구축하여, 어느 국가든 AI를 하려면 한국과 협력할 수밖에 없도록 만들어야 한다고 강조했습니다. 나아가 한국 자체 AI 모델을 개발하고, 이를 기반으로 TV, 휴대폰, 자동차 등 자국 제품에 AI 서비스를 직접 제공하며 사업화까지 확대해야 한다고 주장했습니다. 메모리, 전력 시스템, 모델, 서비스 수익 모델까지 아우르는 풀스택 역량을 갖춘다면, 한국이 미국과 중국에 견줄 수 있는 세계 3대 AI 강국으로 부상할 수 있을 것이라는 비전을 제시했습니다.