새로운 기술로 LLM 추론 속도 및 효율성 향상

KV 캐시는 무손실 메모리로 작동하며, 입력 데이터 크기에 따라 선형적으로 확장됩니다. 이러한 선형 확장은 특히 수백만 개의 토큰 시퀀스에서 상당한 오버헤드를 발생시켜 막대한 계산 자원을 소비합니다. 이러한 문제를 해결하기 위해 업계의 관심은 고급 컨텍스트 및 메모리 압축 기술에 점점 더 집중되고 있습니다.

검색 증강 생성(RAG) 및 에이전트 하네스와 같은 기존 기술은 대규모 데이터에 대한 준선형 압축 방법으로 사용됩니다. 이러한 전략은 광범위한 컨텍스트를 압축하여 모델이 처리하기 쉽도록 만듭니다. 이 접근 방식은 언어 모델의 메모리 용량을 압도하지 않고도 더 큰 정보 세트를 공급하는 데 도움이 됩니다.

이 방법은 전체 KV 캐시에 교차 주의를 기울이는 고정된 대출 질의 벡터 세트를 포함합니다. 이 프로세스는 단일 순방향 전달에서 압축된 키와 값을 생성하여 훈련을 통해 정보 표현을 효과적으로 상각합니다.

추측 디코딩은 출력 품질을 저하시키지 않으면서 단일 순방향 전달 내에서 여러 토큰 생성을 검증하기 위해 드래프트 토큰을 사용하여 처리량을 향상시킵니다. 이 완전 무손실 최적화 기술은 초당 토큰 수를 크게 증가시킵니다. 이를 통해 단일 순방향 전달당 하나 이상의 토큰을 생성하여 추론 프로세스를 간소화할 수 있습니다.

추측 방법의 진화는 작은 모델 사용에서 Eagle 3와 같은 보다 정교한 접근 방식으로 발전했습니다. Eagle 3는 대상 모델의 숨겨진 상태에 대해 억 개 매개변수 모델을 훈련하여 드래프트 토큰을 생성합니다. 이 방법은 Medusa 및 작은 모델을 기반으로 한 추측과 같은 이전 기술보다 우수한 성능을 입증했습니다.

'D-Flash'는 확산 기반 언어 모델링을 활용하여 자동 회귀 생성을 넘어 토큰 시퀀스를 동시에 생성합니다. 이 방법은 Eagle의 하나씩 접근 방식에 비해 8~16개의 토큰을 한 번에 예측할 수 있어 상당한 개선을 이룹니다. 또한 토큰은 서로 교차 주의를 기울여 더 높은 수용률을 가져옵니다.

이 측정은 단일 B200 Qwen 38B로 수행되었으며, 토큰 수용률과 초당 토큰 수 모두에서 상당한 개선을 보였습니다. 이 방법은 양방향 드래프팅을 위해 주의 마스크를 사용하여 양방향 주의를 가능하게 하면서 인과 관계 일관성을 유지합니다.

이 접근 방식은 확산 모델과 순차 모델을 결합합니다. 주요 목표는 이 두 모델의 협력적인 노력을 통해 토큰 수용률을 향상시키는 것이지만, 아직 생산 결과는 나오지 않았습니다.

추측 디코딩의 성능은 프롬프트 및 응답의 내용에 크게 좌우됩니다. 실시간 시스템 데이터에 대한 지속적인 재훈련은 토큰 수용률에서 20%에서 2배까지 개선을 가져올 수 있습니다. 그러나 이 프로세스는 스토리지, 데이터 권한 및 컴퓨팅 오버헤드와 관련된 문제를 제기하며, 기본 모델이 변경될 때마다 추측기를 업데이트해야 합니다.

추론 엔지니어링의 미래는 다가오는 Blackwell/Ruben 시스템에서 상당한 성능 향상을 예상하며, 로컬 추론을 위한 NVFP4 데이터 형식 채택에 대한 강조가 커지고 있습니다. 분리 및 시스템 전체 통신에 대한 의존도가 증가할 것으로 예상되며 점점 더 중요해질 것입니다. KV 캐시 데이터를 다양한 시스템에서 효율적으로 이동하는 데 중점을 두어 보다 통합되고 분산된 AI 아키텍처로의 전환을 강조할 것입니다.