LLM 추론 확장, 품질·비용 절충 필수

70억 개의 파라미터를 가진 모델을 16비트 정밀도로 사용할 경우, 모델 가중치 자체로만 약 14.6GB의 메모리를 사용한다. 이는 GPU 메모리에서 가장 큰 부분을 차지하는 요소이다. GPU 메모리는 이 외에도 고정 오버헤드와 KV 캐시(Key-Value Cache)를 위한 가용 공간으로 구성된다. KV 캐시 공간은 사용자의 컨텍스트 길이에 따라 동적으로 변하며, 추론 성능에 직접적인 영향을 미친다.

사용자 수가 증가하면 GPU 메모리 사용량도 함께 늘어난다. 이는 각 사용자마다 KV 캐시가 생성되기 때문이다. 따라서 하나의 GPU로 더 많은 동시 사용자를 서비스하려면 각 사용자가 사용할 수 있는 컨텍스트 길이를 제한해야 한다. 예를 들어, GPU 하나로 160명의 사용자를 처리하기 위해서는 훨씬 짧은 컨텍스트 길이만 지원할 수밖에 없다.

LLM 추론은 크게 프리필(Prefill)과 디코드(Decode) 두 단계로 나뉜다. 프리필 단계는 입력 프롬프트를 처리하여 키-값(KV) 벡터를 구축하고 어텐션 연산을 수행하므로 연산 집약적이다. 반면, 디코드 단계는 새로운 토큰을 순차적으로 생성하며, 각 토큰 생성 시 이전 KV 캐시를 참조하고 어텐션 연산을 수행한다. 이 단계는 메모리 대역폭 제한을 많이 받아 메모리 집약적이라고 불린다.

프리필 단계에서는 많은 양의 행렬 곱셈이 발생하며, 이는 GPU의 컴퓨팅 유닛을 최대한 활용한다. 이 과정에서 필요한 KV 캐시가 효율적으로 구축되어야 다음 디코드 단계의 속도에 영향을 미친다.

디코드 단계는 각 토큰이 생성될 때마다 KV 캐시에 새로운 정보가 추가되며, 이 캐시의 크기가 커질수록 메모리 대역폭 병목 현상이 심화된다. 따라서 디코드 단계에서는 연산 자체보다 메모리에서 데이터를 가져오는 속도가 전체 성능을 좌우하는 중요한 요소가 된다.

LLM 서비스를 설계할 때는 품질, 지연 시간, 처리량이라는 세 가지 주요 요소를 동시에 고려해야 한다. 이 세 요소는 서로 충돌하는 트레이드오프 관계를 형성하며, 결국 두 가지 중 하나를 선택해야 하는 절충안이 필요하다. 예를 들어, 높은 처리량을 얻기 위해서는 지연 시간을 희생해야 할 수 있으며, 반대로 낮은 지연 시간을 위해서는 처리량이나 품질을 일부 포기해야 할 수 있다.

각 서비스의 특성에 따라 우선순위는 달라진다. 실시간 채팅 서비스의 경우 사용자 경험을 위해 높은 품질과 낮은 지연 시간이 가장 중요하게 여겨진다. 반면, 대량의 데이터를 비동기적으로 처리하는 작업에서는 품질과 높은 처리량이 우선시될 수 있다.

이러한 트레이드오프는 GPU 선택, 배치(batch) 크기 설정, 모델 최적화 기법 등 전반적인 시스템 설계에 영향을 미치므로, 서비스 목표에 맞춰 전략적인 선택이 필수적이다.

예를 들어, 특정 지연 시간 목표를 달성하거나 최소 배치 크기를 유지하는 것이 첫 단계가 될 수 있다. 발표자는 70억 파라미터 모델을 FP16 정밀도로 사용하는 사례를 들어 설명했다.

이러한 기준을 설정한 후, 비용 절감을 위해 GPU 처리량 계산법을 적용하여 가장 효율적인 GPU 구성을 찾아야 한다. 이 과정에서 단순히 최고 성능의 GPU를 선택하는 것보다, 서비스 요구 사항을 만족시키면서도 가장 경제적인 솔루션을 찾는 것이 중요하다.

H100 80GB GPU에서 1,200억 파라미터 모델을 실행하는 것은 메모리 제약 때문에 직접적으로 불가능하다. 이 모델은 FP16 정밀도로 240GB의 메모리를 필요로 하기 때문이다. 이에 대한 해결책으로 BF16, FP8, MX FP4와 같은 다양한 정밀도 압축 전략이 제시되었다.

타조 알고리즘과 같은 일부 방법은 더 큰 모델을 작은 크기로 압축해도 성능 손실이 없다고 가정한다. 하지만 이는 수학적인 벤치마크 테스트를 통해 실제 성능 저하 여부를 반드시 확인해야 하는 부분이다. 단순한 가정만으로는 충분하지 않으며, 각 압축 기법이 실제 추론 품질에 미치는 영향을 정량적으로 평가할 필요가 있다.

결국, 모델 압축은 메모리 사용량을 줄여 더 큰 모델을 제한된 하드웨어에서 실행 가능하게 하지만, 그 과정에서 발생할 수 있는 품질 손실에 대한 면밀한 검토가 필요하다. 최적의 압축률과 성능 균형점을 찾는 것이 중요하다.

어텐션 메커니즘은 멀티 헤드 어텐션(MHA), 멀티 쿼리 어텐션(MQA), 그리고 그룹드 쿼리 어텐션(GQA)으로 발전해왔다. 멀티 헤드 어텐션은 여러 개의 헤드를 통해 병렬 처리를 수행하며, 각 헤드는 독립적인 어텐션 연산을 담당한다. 이는 32개의 블록으로 나누어 병렬 처리를 수행하는 방식에 해당한다.

반면, 멀티 쿼리 어텐션은 단일 키-값 헤드를 여러 쿼리 헤드가 공유하는 방식으로, 메모리 사용량을 크게 줄일 수 있다. 이는 31개의 블록을 단순히 버리는 것과 같은 효과를 낸다. 그룹드 쿼리 어텐션은 MHA와 MQA의 절충점으로, 여러 쿼리 헤드가 소수의 키-값 헤드를 공유함으로써 메모리 효율성과 성능 사이의 균형을 맞춘다. 각 기술은 메모리 절약과 연산 효율성 면에서 서로 다른 장단점을 가진다.

기존 어텐션은 행렬 전체를 곱하는 방식이었으나, 플래시 어텐션은 큰 행렬을 작은 '타일'로 나누어 SRAM에 넣음으로써 곱셈 처리를 빠르게 수행한다.

이 기술은 세 가지 변수를 추적하여 온라인 소프트맥스(online softmax) 계산을 가능하게 한다. 이를 통해 전체 어텐션 행렬을 HBM에 저장할 필요 없이 SRAM에서 연산을 완료하여 메모리 대역폭 병목 현상을 크게 줄이고, 전반적인 추론 속도를 향상시킨다.

현재 LLM의 핵심은 행렬 곱셈과 어텐션 메커니즘에 기반을 두고 있다. 거의 모든 LLM이 이 구조를 사용하고 있으며, 이는 토큰을 순차적으로 생성하는 방식에 최적화되어 있다. 그러나 미래에는 이러한 아키텍처에 변화가 있을 수 있다.

만약 어텐션을 사용하지 않거나, 토큰을 순차적으로 생성하는 대신 디퓨전 모델과 같이 모든 것을 동시에 생성할 수 있는 방식이 등장한다면, 현재의 LLM 패러다임이 바뀔 수 있다는 전망이다. 이는 LLM 아키텍처의 근본적인 한계를 극복하고 새로운 형태의 생성 모델을 가능하게 할 잠재력을 시사한다.

멀티 헤드 어텐션(MHA)은 품질 저하가 거의 없고 병렬화에 유리하여 여전히 좋은 성능을 보여준다. 처리량 면에서도 괜찮은 선택지로 평가된다. 반면, 그룹드 쿼리 어텐션(GQA)은 사용 사례에 따라 성능이 크게 좌우되는 특징을 가진다.

GQA는 품질 면에서 MHA와 거의 비슷하지만, 특정 사용 사례에 더 적합하거나 그렇지 않은 경우가 있을 수 있다. 한편, 멀티 쿼리 어텐션(MQA)과 멀티 레이어 어텐션(MLA)은 메모리 효율성 면에서는 이점이 있으나, 일반적으로 품질 면에서 한계가 존재한다고 언급되었다.

이렇게 확보된 메모리 공간은 KV 캐시 크기를 확장하거나 더 긴 컨텍스트 길이를 지원하는 데 활용될 수 있다. 이는 결과적으로 더 많은 동시 사용자 또는 더 복잡한 프롬프트를 처리할 수 있게 하여 전체 시스템의 처리량과 유연성을 높이는 효과를 가져온다.

실제 연산 과정에서 레이어 수를 곱하는 실수가 있었으며, 정확한 절감 효과는 14배였다.

이는 멀티 헤드 어텐션(MHA)과 비교했을 때 14배의 연산 절감 효과가 있다는 의미이다. 이 정정은 MLA 기술의 실제 효율성을 보다 정확하게 반영하며, 시스템 설계 시 이 기술의 적용 여부를 결정하는 데 중요한 참고 자료가 된다.

기존 LLM 추론 시스템은 고정된 방식으로 메모리를 할당하여 단편화와 메모리 낭비를 유발하는 문제가 있었다. vLLM은 이러한 문제를 해결하기 위해 운영 체제의 페이지 관리 기법에서 영감을 얻은 새로운 메모리 관리 방식을 도입했다. 이는 논리적 메모리와 물리적 메모리를 분리하여 관리하는 방식이다.

vLLM에서는 모든 토큰의 KV 벡터가 논리적으로는 연속적인 메모리 공간에 있는 것처럼 느껴지지만, 실제 물리적 메모리에서는 서로 다른 주소에 매핑된다. 이러한 동적 블록 할당 방식은 메모리 단편화를 줄이고, KV 캐시를 보다 효율적으로 관리하여 전반적인 메모리 활용도를 크게 향상시킨다.

vLLM은 페이지 어텐션(Paged Attention), 연속 배치 처리(Continuous Batching), 그리고 효율적인 KV 캐싱을 기본적으로 제공한다. 이러한 기술들을 통합함으로써, vLLM은 기본적인 허깅페이스(Hugging Face) 구현 대비 추론 처리량을 약 15배 증가시키는 놀라운 성능을 보여주었다.

여기에 프리픽스 캐싱(Prefix Caching)을 추가로 적용하면 처리량을 더욱 향상시킬 수 있다. 프리픽스 캐싱은 공통된 프롬프트 접두사를 캐시하여 중복 연산을 줄이는 방식이다.

또한, KV 양자화(KV Quantization) 기술은 토큰 생성 지연 시간을 거의 유지하면서 KV 캐시의 메모리 사용량을 크게 절감하는 효과를 가져온다. 이는 적은 메모리로도 더 많은 컨텍스트를 지원할 수 있게 하여 시스템의 확장성을 높인다.

이러한 vLLM의 최적화 기술들은 대규모 LLM 추론 환경에서 성능을 극대화하고 자원 활용 효율을 높이는 핵심 솔루션으로 자리매김하고 있다.