CoreWeave, AI 추론을 위한 수직적 이동성 세부 정보

CoreWeave의 추론을 이끄는 Sitanshu Gupta는 소규모 모델부터 1조 개 매개변수 규모의 모델을 처리할 수 있는 추론 플랫폼 개발을 강조하며 회사의 수직적 이동성 전략을 소개했습니다. 그는 AWS Annapurna Labs 및 Habana Labs에서의 자신의 배경이 이러한 노력의 기반이 되었음을 강조했습니다. 핵심 철학은 진화하는 요구 사항을 충족하기 위해 기존 인프라를 지속적으로 강화하면서 플랫폼 재구성을 최소화하는 것입니다.

서버리스 모델은 고객이 하드웨어, 클러스터 또는 오케스트레이션을 관리할 필요 없이 토큰당 비용을 지불할 수 있도록 하며, CoreWeave가 모든 인프라를 처리합니다. 반면, 전용 모델은 사용자에게 하드웨어 선택 및 모델 배포에 대한 더 큰 제어권을 제공하여 성능을 최적화하기 위한 특정 구성을 제공합니다.

공유 용량으로 인해 표준 서버리스 환경에서 종종 발생하는 성능 저하를 완화하기 위해 CoreWeave는 '프로비저닝된 처리량' 기능을 도입했습니다. 이를 통해 고객은 트래픽 프로필을 CoreWeave에 알려 플랫폼이 고객을 위한 전용 리소스를 할당할 수 있도록 합니다. 이는 고객이 기본 인프라를 관리할 필요 없이 서비스 수준 계약(SLA)을 보장합니다.

CoreWeave는 에이전트, 채팅, 음성/비디오 및 배치와 같은 여러 워크로드 유형을 구분하며, 각 유형은 고유한 지연 시간 및 처리량 요구 사항을 가지고 있습니다. 에이전트 및 채팅 워크로드는 일반적으로 높은 입력 및 낮은 출력 시퀀스 길이를 특징으로 하지만, 에이전트 상호 작용은 채팅보다 다중 턴 대화에 훨씬 낮은 지연 시간을 요구합니다. 실시간 음성 및 비디오 애플리케이션은 엄격하게 지연 시간에 민감하여 즉각적인 처리를 필요로 합니다. 반대로 배치 워크로드는 지연 시간에 대한 허용 오차가 높으며, 종종 완료하는 데 몇 분 또는 몇 시간이 걸리므로 더 유연한 스케줄링 및 리소스 할당이 가능합니다.

CoreWeave는 고객이 비수기 시간에 배치 작업에 전용 추론 리소스를 재활용하여 용량을 최적화할 수 있도록 합니다. 예를 들어, 낮 동안 실시간 워크로드에 용량을 사용하는 고객은 저녁부터 밤까지 동일한 용량에 배치 워크로드를 예약할 수 있습니다. 이 API 기반 스케줄링은 시간대별 수요에 따라 자동 확장 및 축소를 가능하게 하여 야간 시간 동안 리소스 활용도를 극대화합니다.

KV(Key-Value) 캐시 최적화는 에이전트 워크플로에 매우 중요합니다. 프리필은 추론 프로세스에서 가장 비싼 단계로 확인되기 때문입니다. 에이전트 상호 작용에서 여러 턴에 걸쳐 KV 캐시를 재사용하면 컴퓨팅 시간이 크게 줄어듭니다. CoreWeave는 KV 캐시를 고대역폭 스토리지로 오프로드하여 불필요한 재계산을 방지하고, LM 캐시 및 문케이크와 같은 기술을 사용하여 동반 요청이 반환될 때 HBM(고대역폭 메모리)으로 신속하게 다시 로드되도록 함으로써 이를 해결합니다.

회사는 비동기 서비스로 맞춤형 추측 훈련을 제공하여 고객이 특정 데이터셋으로 추측기를 훈련하여 더 나은 수락률을 얻을 수 있도록 합니다. 이 접근 방식은 라이브 추론 성능에 영향을 주지 않고 출력 처리량을 크게 증가시켜 궁극적으로 우수한 가격 대비 성능 이점을 제공하는 것을 목표로 합니다.

Artificial Analysis에 따르면 회사는 Gemini 2.6 및 2.7 리더보드에서 빠르게 상승했습니다. 또한 실제 사용자 트래픽을 반영하는 OpenRouter 데이터는 CoreWeave의 배포 속도가 Fireworks와 같은 선두 제공업체와 비슷함을 보여주며, 특정 워크로드 테스트와 함께 실제 벤치마크 사용을 강조합니다.