작은 모델을 위한 대규모 클러스터: 도전 과제 및 해결책

이러한 모델들은 일반적으로 2~3세대 지난 Nvidia 하드웨어에서 실행될 수 있어 단일 GPU에 적합합니다. 이러한 접근성 덕분에 서비스가 쉽고 저렴하며, 소규모 모델이 본질적으로 성능 저하를 가져온다는 일반적인 오해와는 대조적입니다.

전체 모델이 하나의 GPU 내에 들어가므로 배포가 더 간단합니다. 이러한 특성은 종종 더 전문적이고 값비싼 인프라를 요구하는 대규모 프론티어 모델과는 대조적입니다.

대규모 모델에서 보이는 한계 수익 체감으로 인해 소규모 모델이 격차를 좁히는 현저한 수렴이 있습니다. 예를 들어, Quan 36과 같은 270억 매개변수 모델은 GPT 5.1에 필적하는 성능을 달성하여 전략적으로 사용될 경우 생산에 적합합니다. 소규모 모델을 범용적인 "무엇이든 하는" 모델로 취급하기보다는 평가 및 미세 조정을 통해 특정 작업에 맞게 사용하는 것이 중요합니다.

이 접근 방식은 특정 작업에 대해 고도로 훈련된 소규모 모델을 할당함으로써 워크로드를 최적화하며, 이러한 모델은 종종 더 일반화된 대규모 모델보다 뛰어난 성능을 발휘합니다. 광범위한 데이터 세트에 미세 조정된 이러한 특수 모델은 의도한 기능에 대해 우수한 품질을 제공할 수 있습니다.

오픈소스 생태계는 Hugging Face와 같은 플랫폼에서 수십만 개의 모델을 제공하며, 많은 모델이 허용적 라이선스를 가지고 있어 자유롭게 사용할 수 있습니다. 이러한 풍부함에도 불구하고, 2024년 이후 오픈소스 AI의 채택은 예상보다 느렸으며, 많은 조직이 여전히 Bedrock과 같은 독점 인프라에 의존하고 있습니다. vLLM 또는 SGLang과 같은 오픈소스 인프라를 사용하여 소규모 모델을 서비스하려는 사람들은 이러한 도구가 효과적으로 구현하기 위해 상당한 맞춤화 및 연구가 필요하다는 점을 인식하는 것이 중요합니다.

일반적으로 여러 GPU에 모델을 공유하고 요청을 라우팅하는 것이 주요 과제인 대규모 단일 모델 배포와 달리, 소규모 모델은 수많은 작은 요청으로 인해 로컬 큐 균형을 맞추는 데 복잡성을 야기합니다. 이러한 "직접 하는" 방식은 소규모 모델에 대한 사전 튜닝 부족과 결합되어 지속적인 로드 하에서 높은 GPU 활용률(20-30% 이상)을 달성하는 것을 특히 어렵게 만듭니다.

이러한 비효율성은 라우팅 병목 현상과 여러 LoRA 또는 사용자 지정 미세 조정과 같은 요청의 다양한 특성으로 인해 배치를 올바르게 크기 조정하는 데 어려움이 있기 때문입니다. 이러한 적응된 모델을 생산에 통합하는 과정은 종종 AI 엔지니어와 인프라 팀 간의 광범위한 왕복이 필요합니다.

이 아키텍처는 모델 적응 및 다양한 환경의 도전 과제를 해결하기 위한 광범위한 반복과 다양한 클러스터 설계 탐색의 결과였습니다. 이 시스템은 작업자가 중앙 집중식 큐에서 작업을 가져올 수 있도록 하여 포화도와 성능을 극대화함으로써 전통적인 라우터 기반 시스템의 한계를 극복하는 것을 목표로 합니다.

요청 대상을 미리 결정하는 전통적인 라우터와 달리, 이 시스템은 작업자가 큐에서 작업을 가져올 수 있도록 하여 더 나은 자체 포화도를 가능하게 합니다. 제어 평면에서 GPU 런타임에 이르는 전체 스택은 오픈소스입니다. 또한 이 시스템은 API 게이트웨이를 통해 효율적인 다중 모델 데이터 전송을 위해 MessagePack을 사용하며, 다른 일부 API에서 사용되는 base64 인코딩의 오버헤드를 피합니다.

API 게이트웨이는 모든 이진 데이터(예: 이미지 또는 비디오)를 인코딩하고 게이트웨이를 통해 푸시하여 다중 모델 데이터를 효율적으로 처리합니다. 이는 클러스터가 이진 데이터 로드를 위해 외부 클라우드 스토리지에 액세스할 필요성을 방지하여 프로세스를 간소화합니다. 게이트웨이는 또한 내부 큐를 막는 것을 방지하기 위해 더 무거운 데이터 구성 요소를 지능적으로 분리하고, 요청이 여전히 큐에 있는 동안 클라우드 스토리지에 "실시간"으로 연기하여 최적화된 처리를 위해 요청을 효과적으로 분할합니다. 전체 스택은 REST 기반이며, 게이트웨이와 작업자는 REST를 통해 통신하고, 로컬 런타임(PyTorch, Kendall, SGLang)은 소켓을 통해 연결됩니다.

게이트웨이는 요청을 완전히 구문 분석하는 대신 패킷 형태를 신속하게 검사하고 주석을 달아 작업자에게 전달합니다. 중앙 집중식 큐잉 시스템을 통해 작업자는 자체 배치를 형성하고 배치 비용을 예측하여 효율성을 향상시킬 수 있습니다. 이 애니메이션은 작업자가 로컬 큐를 채우기 위해 종종 비효율적인 하향식 라우터에 의존하는 대신 작업을 능동적으로 선택하는 중앙 집중식 큐잉의 이점을 시각적으로 보여줍니다.

이상적인 배치 크기를 위해 공유 큐에서 가져올 최적의 항목 수를 예측하는 것은 어렵습니다. 시스템에는 네트워크 홉이 발생하더라도 너무 많이 가져온 경우 항목을 큐로 반환하는 메커니즘이 포함되어 있습니다. Superlinked는 PyTorch, Kendall, SGLang의 세 가지 런타임을 지원합니다. PyTorch는 견고하지만, Kendall은 여전히 PyTorch의 성능을 따라잡기 위해 노력하는 연구 프로젝트입니다. SGLang은 기준선 역할을 하며, Superlinked는 소켓과 RAS 사이드카로 래핑하여 기본 성능을 향상시키기도 했으며, 이는 맞춤형 최적화의 가치를 보여줍니다.

Kendall은 PyTorch의 12GB 이미지 크기의 약 10%에 해당하는 훨씬 작은 작업자 Docker 이미지를 제공하여 콜드 스타트 시간 및 여러 시스템에서의 로드에 유리합니다. 그러나 Kendall로 PyTorch에 필적하는 성능을 달성하는 것은 여전히 어려운 연구 과제입니다. Superlinked는 SGLang을 기준선으로 사용하여 시스템이 기존 솔루션만큼 잘 작동하는지 확인합니다. 소켓과 RAS 사이드카로 SGLang을 래핑하면 기본 SGLang 성능보다 향상된 결과를 보여주며 맞춤형 최적화의 이점을 보여줍니다.

소규모 모델용 런타임의 다양한 특성 때문에 단일 런타임에 전념하는 것은 바람직하지 않습니다. 한 런타임용 사용자 지정 코드는 다른 런타임과 호환되지 않는 경우가 많기 때문입니다. Superlinked는 이러한 문제를 해결하기 위해 다양한 모델에 매개변수화된 수많은 어댑터(약 50개)를 개발하여 다양한 런타임의 기본 복잡성을 처리합니다. 이 접근 방식은 대기 시간 손실 없이 최대 성능을 허용하며, 벤치마킹에서 "무릎"이라고 불리는 개념, 즉 대기 시간 증가 전에 최대 성능이 달성되는 포화 지점입니다.

RTX Pro 6000과 같은 상대적으로 작고 상용적인 하드웨어뿐만 아니라 Nvidia L4, A100, H100에서도 Superlinked 시스템은 인상적인 성능을 달성할 수 있습니다. 임베딩 모델의 경우 수억 개의 매개변수를 가진 모델이라도 시스템은 초당 수십만 개의 토큰을 인코딩할 수 있습니다. 이러한 GPU는 대부분의 클라우드 환경에서 주문형으로 쉽게 사용할 수 있으므로 고성능 서비스를 이용할 수 있습니다.

"손쉬운 해결책"으로 간주되는 이 접근 방식은 개체명 인식, 다중 벡터 검색 및 텍스트 생성과 같은 작업에 엄청난 이점을 제공합니다. 비교적 간단한 인프라와 소수의 GPU로 품질을 신속하게 평가할 수 있어 사용자 지정 AI 배포를 위한 강력한 대안을 제공합니다.

GPU 주변에 합리적인 인프라가 있다면 GPU 수가 증가함에 따라 선형 확장이 가능합니다. 주요 최적화는 여러 소규모 모델을 동일한 GPU에 패킹하여 속도를 향상시키는 것입니다. 이 전략은 일부 모델을 즉시 액세스할 수 있도록 고정하는 것과 다른 모델에 대한 지연 로딩 및 제거를 결합하여 GPU 메모리를 최적화하고 콜드 스타트 시간을 단축합니다. Superlinked는 또한 새로운 모델에 대한 지원을 지속적으로 추가하고 성능을 향상시키기 위해 자동 연구 루프를 사용하여 지속적인 효율성을 보장합니다.

Superlinked의 자동 연구 루프는 새로운 모델에 대한 지원을 추가하고 성능을 향상시키는 프로세스를 자동화합니다. 이러한 루프에는 하네스를 구축하고 연구를 실행하며 통찰력을 위한 대시보드를 제공하는 메타 루프가 포함됩니다. Superlinked가 모델 지원을 제공할 때, 필요한 모든 튜닝이 미리 구성되어 제공되므로 사용자는 매개변수 스윕을 수행할 필요가 없습니다. 이 접근 방식은 소규모 모델이 좋을 뿐만 아니라 더 저렴하고, 빠르고, 똑똑하게 만들어 자체 호스팅을 실용적이고 효율적인 옵션으로 만듭니다.