CXL로 메모리 병목 뚫는다

AI 인플런스(추론) 연산 효율화를 위해 중간 계산값을 저장하는 KV 캐시(Key-Value Cache)의 사용이 증가하고 있다. 대화 맥락이 길어질수록 KV 캐시 메모리 점유량이 급증하며, 이는 AI 인플런스 규모 확장에 따른 메모리 요구량 확대로 이어진다.

HBM(고대역폭 메모리)은 물리적 공간 제한과 발열, 수율 문제로 용량 확대에 한계가 있다. GPU에 종속된 자원으로서 높은 비용을 발생시키며, 범용 메모리보다 가치 있는 데이터 처리에 집중하는 것이 바람직하다. KV 캐시처럼 비교적 단순한 데이터 저장을 위해 HBM을 사용하는 것은 비효율적이다.

이로 인해 데이터 복사 과정에서 시간 지연(Latency)이 발생하며, 데이터 중복 저장으로 메모리 자원 낭비가 심하다.

CXL(Compute Express Link)은 데이터를 서버 간에 이동시키지 않고 공용 메모리 풀에서 직접 접근하게 한다. 각 서버는 공유 메모리를 마치 자신의 자원처럼 유연하게 사용하며, 이는 메모리 활용률을 극대화하여 인프라 투자 비용을 절감하는 효과를 가져온다. 마치 큰 호수를 만들어 모든 시스템이 자기 메모리처럼 보는 것과 같다.

데이터 카피가 없는 공유 방식으로 GPU 대기 시간을 단축하고, 효율적인 메모리 접근과 보안 관리가 가능하도록 프로토콜을 구축하는 것이 중요하다.

필요에 따라 메모리 증설이 용이하며, 기존 클라우드 스토리지 방식과는 다른 메모리 전용 연결 표준을 제공하여 유연성을 높인다.

CXL 표준은 2019년에 처음 발표되었으며, 이를 지원하는 첫 번째 제품들이 2023년부터 2024년경 시제품 수준으로 등장했다. 올해 말부터 내년 초에는 CXL 3.0 스펙 기반의 상용화 가능한 제품들이 본격적으로 출시될 전망이다. 일반 대중에게는 생소하지만, 서버 시장에서는 이미 핵심 기술로 주목받고 있다.

현재 클라우드 환경에서 메모리 활용률은 평균 35% 수준에 불과하다. CXL 기반 메모리 풀링을 통해 메모리를 시간 단위로 유연하게 조절함으로써 70~80% 이상으로 활용 효율을 증대할 수 있다. 이는 동일한 성능을 제공하면서도 설비 투자 비용을 획기적으로 절감하는 효과를 가져온다. 메모리 풀링은 필요한 서버에 메모리를 할당하고 불필요한 서버에서는 줄이는 방식으로 작동한다. 이러한 유연성은 자원의 효율적 배분을 가능하게 한다. 노후화된 서버의 D램을 CXL 기반으로 재활용함으로써 순환 경제를 구축하는 효과도 기대된다.

엑시나는 CXL을 활용하여 카드 한 장당 최대 2테라바이트(TB)까지 메모리를 확장할 수 있는 기술을 개발했다. 또한 메모리 내에 연산 기능을 통합한 자체 칩 'MX1'을 개발했으며, 이 칩에는 수천 개의 소형 코어(RISC-V)가 탑재되어 메모리 근처에서 연산을 직접 수행한다.

이 기술은 소프트웨어와 하드웨어를 결합한 코-아키텍팅(Co-architecting) 방식으로 구현된다. SSD를 메모리 계층으로 활용하여 데이터 접근 속도를 높이고 비용 효율성을 제고한다.

엑시나는 메모리 풀 안에서 데이터 연산 처리를 병행하여 전통적인 서버 인프라의 효율을 개선한다. 기존 서버 10대가 하던 업무를 1대로 처리하는 집적도를 지향하며, 이는 응용 프로그램에 따라 다르지만 2배 이상의 효율을 기대할 수 있다. 수천 개의 코어를 활용하여 10만 대의 CPU가 처리했던 업무의 상당 부분을 디바이스 내에서 처리함으로써 서버 대수를 10분의 1 수준으로 줄이는 것을 목표로 한다.

CXL 기반 메모리 익스펜더를 개발하는 경쟁사로는 미국의 마벨(Marvell)과 아스트라랩스(Astra Labs)가 있다. 마벨은 16개의 ARM 코어를 사용하는 반면, 엑시나는 수천 개의 코어를 탑재하여 훨씬 높은 성능 스케일링을 제공한다. 또한, SSD를 메모리처럼 활용하는 '인피닛 메모리' 기술은 전 세계에서 엑시나가 유일하게 제품화한 차별화된 가치다.

이는 미래 기술이 아닌 현재 기술 수준에서 상용화가 가능한 인프라 솔루션으로, 내년부터 투자되는 모든 서버에 즉시 적용될 수 있다. 시스템의 변화 없이 단순히 장치를 추가하는 것만으로 동작한다.