LLM 추론 최적화의 핵심 과제와 해법

이진원 CTO는 현재 AI 산업이 "compute crunch"라는 문제에 직면해 있으며, 이는 앞으로도 지속될 것이라는 전망을 공유했습니다. 이는 AI 모델의 급격한 발전 속도에 비해 하드웨어 연산 능력의 성장이 이를 따라가지 못하면서 발생하는 구조적인 문제로 분석됩니다.

이진원 CTO는 이 간극을 해소할 세 가지 방법이 있지만, 결국 compute 단가가 오르는 것만이 현실적인 해결책이라고 설명했습니다. 현재 추론 마진이 70~80%에 달하는 상황에서 Training 비중을 축소하는 것은 현실적으로 어렵기 때문에, 추론 비용 단가 상승은 피할 수 없을 것으로 예상됩니다.

이진원 CTO는 칩당 192GB의 메모리 용량을 제공하며, 목표 가격은 5,000달러(한화 1천만 원 미만)로 저가 공급이 가능하다고 밝혔습니다. 이는 기존 고가 HBM 기반 반도체와 차별화되는 전략으로, 저비용 고효율 AI 인프라 구축을 목표로 합니다.

Hot Chips 학회에서 공개된 Jalapeño는 LPDDR 기반의 메모리 구조와 인접 코어 연산 방식을 채택하고 있어, Bertha의 설계 철학과 유사성을 보입니다. 이는 고비용 HBM 대신 저전력 DDR 메모리를 활용한 AI 반도체 개발이 업계 전반의 트렌드가 될 수 있음을 시사합니다.

Prefill은 여러 단어가 한 번에 입력되어 GPU가 병렬로 연산하는 과정으로, GPU 활용도가 높습니다. 반면 Decode는 한 단어씩 순차적으로 출력하는 autoregressive 과정으로, 지연이 발생하기 쉽습니다. 이진원 CTO는 "Prefill은 여러 개의 단어가 한 번에 들어가서 GPU가 한 번에 연산하는 건데, 뒤에서 한 자 한 자 내는 것은 decode 과정이고, 이건 굉장히 sequential하다"고 설명했습니다.

Dense 모델 기준으로 attention이 전체 파라미터의 약 20%를 차지하고, FFN(Feed-Forward Network)이 약 80%를 차지하여 FFN 비중이 압도적으로 높습니다. 이는 FFN이 attention에 비해 4배 많은 파라미터를 가지고 있음을 의미합니다. MoE(Mixture-of-Experts) 모델로 갈수록 FFN의 비중은 더욱 증가하는 경향을 보입니다.

Prefill 단계는 가변적인 시퀀스 길이의 입력을 처리하여 1개의 토큰을 출력합니다. 반면 Decode 단계는 1개의 토큰이 입력될 때마다 1개의 토큰을 출력하는 반복적인 구조를 가집니다. 이진원 CTO는 "decode에서는 항상 한 token이 들어가서 한 token이 나오는 구조이기 때문에 batch를 생각하지 않았을 때 이 prefill의 출력과 같은 형태의 데이터가 돌아다닌다고 이해하시면 될 것 같습니다"라고 설명했습니다. 이러한 구조적 차이는 각 단계의 연산 효율성과 병목 현상에 큰 영향을 미칩니다.

KV 캐시는 LLM이 이전 토큰의 Key와 Value 값을 저장하여 재계산을 방지하는 데 사용되는 메모리 저장 방식입니다. 이는 사용자가 별도로 인지하지 못하는 상태에서 모델이 과거 대화 내용을 기억하고 다음 토큰을 생성하는 데 필수적인 역할을 합니다. 노정석 아나운서는 "이게 저희가 항상 얘기하는 KV cache인 거죠"라고 언급하며 KV 캐시의 중요성을 강조했습니다. 효율적인 KV 캐시 관리는 LLM 추론 성능에 직접적인 영향을 미칩니다.

이진원 CTO는 "KV를 저장할 공간이 부족하니까 Mooncake 같은 데서 나오는 건 이걸 CPU에 있는 메모리로 옮기거나 아니면 SSD로 내려놨다가 필요할 때 다시 가져와서 쓰는 방법을 많이 이야기하고 있어요"라고 설명했습니다. 이는 Agentic AI 환경에서 장기적인 KV 캐시 관리 효율성을 증대시키는 데 기여할 것으로 기대됩니다.

GPU 연산에 있어 Compute-bound와 Memory-bound의 분기점을 Ridge Point라고 합니다. H100 GPU를 기준으로 연산과 메모리 전송이 균형을 이루는 시점은 대략 300번의 연산에 해당합니다. 이진원 CTO는 "연산과 메모리 중 어느 하나도 느리거나 빠르지 않고 균형을 이루는 시점을 계산해 보면 대략 300 정도 되는 겁니다"라고 설명했습니다. 한 번 읽은 데이터로 연산하는 횟수가 이 지점보다 적으면 memory-bound 현상이 발생하여 연산 효율이 떨어지게 됩니다.

이는 토큰이 하나씩 들어가고 나오는 벡터-행렬 연산 구조 때문입니다. 이진원 CTO는 "토큰이 하나 들어가서 하나 나오고, 그래서 행렬 곱하기 행렬 연산이 아니라 벡터 곱하기 행렬 연산으로 되다 보니까 항상 arithmetic intensity가 아주 낮은 지점에 찍힐 수밖에 없어요"라고 설명했습니다. Batching을 통해 이를 해결하려는 시도가 있지만, Attention 연산은 batch 간 데이터 공유가 어려워 여전히 병목 현상이 발생합니다.

Llama 3.1 70B 모델 기준으로 대규모 batch를 운용할 경우 KV 캐시 용량이 수십 TB에 달하는 문제가 발생합니다. 이진원 CTO는 "보시면 512 batch에서 22TB 정도입니다. 그러니까 사실상 512명을 동시에 하나의 서버 혹은 한두 개의 서버에서 serving하는 건 불가능하다는 걸 여기서 보실 수 있을 거예요"라고 설명했습니다. 이는 단일 또는 소수의 서버에서 대규모 동시 접속자를 처리하는 것이 현실적으로 불가능함을 보여주며, KV 캐시 관리의 중요성을 다시 한번 강조합니다.

AI 서비스에서 처리량(throughput)을 높이려면 사용자 응답성(interactivity)을 어느 정도 희생할 수밖에 없는 상충 관계가 존재합니다. 이진원 CTO는 맥도날드 맥모닝 주문 사례를 들어 throughput과 interactivity의 관계를 설명하며, Anthropic의 fast mode와 같은 서비스 가격 결정에도 이러한 경제적 이유가 반영된다고 밝혔습니다. 즉, 더 빠른 응답을 위해서는 더 높은 비용을 지불해야 하는 구조가 형성될 수 있습니다.

기존 static batching 방식은 가장 긴 요청이 끝날 때까지 전체 batch가 대기해야 하는 비효율성을 가집니다. 이를 해결하기 위해 Orca 논문을 기반으로 iteration 단위의 스케줄링을 제안하는 Continuous Batching이 도입되었습니다. 이진원 CTO는 "이 요청 단위로 하지 말고 iteration 단위로 하자는 겁니다. token 하나가 생성될 때마다 scheduling을 새로 하자고 한 거예요. prefill과 decode가 섞여서 들어가게 되는 거죠. 이렇게 하면 꽉 채워서 할 수 있어요"라고 설명했습니다. 이 방식은 prefetch와 decode를 섞어 빈 슬롯을 채워 GPU 활용도를 극대화합니다.

LLM 추론 과정에서 발생하는 메모리 낭비를 줄이기 위해 PagedAttention 기법이 제안되었습니다. 이 기법은 운영체제의 페이지 테이블 개념을 메모리 할당에 적용하여 동적으로 메모리를 할당합니다. 이진원 CTO는 "그래서 그 낭비를 줄이는 아이디어로, 이것도 굉장히 단순한데 동적으로 메모리를 할당하는 겁니다. page table 개념을 가져오는 거죠. 그래서 이렇게 동적으로 그때그때 메모리에 page를 새로 할당하면 내가 딱 필요한 만큼만 메모리를 쓸 수 있으니까 효율적으로 메모리를 쓸 수 있어서 더 많은 사용자에게 서비스를 제공할 수 있겠다는 개념인 거죠"라고 설명했습니다. 이를 통해 필요한 만큼만 메모리를 사용하여 효율성을 극대화하고 더 많은 사용자에게 서비스를 제공할 수 있습니다.

AI 산업에서 단순히 NVIDIA GPU를 사용하고 오픈소스 모델을 올리는 것만으로는 경쟁력을 확보하기 어렵습니다. 인프라 소프트웨어 레이어에서의 최적화가 핵심적인 차별화 요소이자 수익성을 결정하는 중요한 요소로 부상하고 있습니다. 노정석 아나운서는 "저희가 NVIDIA GPU만 쓰고 오픈소스 모델을 올리면 누구나 장사할 수 있는 거 아니야라고 생각할 수 있지만, 그 안에서 어떤 식으로 최적화를 잘하느냐에 따라 정말 돈 단위가 몇 자리를 왔다 갔다 하거든요"라고 강조했습니다. vLLM, SGLang과 같은 orchestration 레이어의 최적화는 AI 서비스의 경제적 가치를 크게 높일 수 있습니다.

Prefill-Decode Disaggregation은 prefill과 decode의 연산 성격이 다르다는 점에 착안하여 각각의 역할을 분리하고 전용 풀(pool)을 할당하는 개념입니다. 이진원 CTO는 "그래서 prefill pool과 decode pool을 놓고 이걸 나눠서, 그러니까 Jensen Huang이 Token Factory라는 얘기를 많이 하잖아요. 하나하나의 단계에 따라서 그 하나만 하는 pool을 만드는 거죠"라고 설명했습니다. 이는 전체 처리량(throughput)을 유지하면서도 서비스 수준 목표(SLO)를 만족하는 유효 처리량(goodput)을 극대화하는 것을 목표로 합니다. 이를 위해서는 고대역폭 인터커넥트(예: NVLink)가 필수적입니다.

Agentic AI 환경에서는 LLM 호출의 90% 이상이 사람이 아닌 AI에 의해 이루어지는 것으로 나타났습니다. 이진원 CTO는 "당연하지만 실제로 LLM을 call하는 것의 대부분, 그러니까 90% 정도, 이 두 개의 빨간색 90%는 AI가 호출하더라. 그러니까 AI를 사람보다 AI가 더 많이 쓰는 거죠"라고 설명했습니다. 이로 인해 한 세션 내에서 평균 100번의 스텝이 발생하며 KV 캐시의 재사용이 급증합니다. 긴 context 처리가 필요해지면서 KV 캐시 관리의 중요성이 더욱 커지고, 이는 새로운 병목 현상으로 작용할 수 있습니다.

이진원 CTO는 "이것은 굉장히 가벼운 machine learning 모델을 사용해서 이 사람이 10분 안에 돌아올지 안 돌아올지 예측해서, 안 돌아올 것 같으면 빨리 내보내는 방법도 쓰는데, 정확도가 생각보다 높다고 해요"라고 밝혔습니다. 이 모델은 사용자가 10분 이내에 돌아올지 여부를 예측하여, 돌아오지 않을 것으로 예상되면 KV 캐시를 효율적으로 방출하여 자원 낭비를 줄입니다. 예측에 실패할 경우 KV 캐시는 저장소로 이동됩니다.

이는 prefill과 decode의 역할을 분리하고, Groq의 LPX(Language Processing Unit)와 Rubin GPU를 협업시켜 FFN(Feed-Forward Network) 연산을 LPX가 담당하도록 합니다. 이러한 접근 방식은 expert 단위의 batch size 최적화를 통해 전체 시스템의 효율성을 극대화합니다.