분산 AI 추론 확장: 새로운 과제와 해결책

이러한 성장은 이제 추론 트래픽이 가장 큰 마이크로서비스의 볼륨을 초과하여 인프라 역사상 가장 빠르게 성장하는 워크로드로 기록되고 있음을 의미하며, 이는 클라우드 시대의 진화를 단 몇 년으로 압축하는 변화입니다.

클라우드가 가상화로 시작하여 Borg 및 Kubernetes와 같은 복잡한 오케스트레이션 시스템으로 발전했듯이, AI는 GPU 모델로 시작하여 이제 라우팅, KV 캐시, 프리필-디코드 분리 등을 관리하기 위한 정교한 오케스트레이션 레이어를 개발하고 있습니다.

에이전트 AI 시스템은 비선형적인 수요 폭증을 유발하여 단순한 스프레드시트 작업이었던 용량 계획을 근본적으로 변화시킵니다.

이제 확장은 사용자뿐만 아니라 사용자당 호출 수 및 호출당 토큰 볼륨에 따라 달라집니다. 에이전트 워크플로는 사람의 개입 없이 요청당 수천 번의 호출을 생성할 수 있으므로 기존 마이크로서비스 용량 모델은 쓸모가 없습니다.

요청은 50에서 100,000 토큰에 이를 수 있으며, 각 토큰은 고유한 프리필/디코드 컴퓨팅 프로필을 가집니다. 처리량 붕괴를 방지하려면 비행 중 배치가 필수적이며, LLM은 상태 비저장 마이크로서비스와 달리 비싸고 영구적인 KV 캐시 상태를 필요로 합니다.

콜드-핫 시작 시간이 상당히 길어 충돌 시 큐가 쌓이고, GPU 과잉 프로비저닝은 상당한 경제적 낭비로 이어지므로 이러한 제약 및 장애 모드를 효율적으로 처리하기 위한 새로운 인프라 관리 접근 방식이 필요합니다.

모델은 지능을 담고 있지만, 실제 모델 추론과 관련된 운영 단계는 많지 않습니다. 인증, 라우팅, 캐싱, 배치 등을 포함한 나머지 단계는 주로 기본 스택을 통해 신뢰성과 사용자 경험을 주도합니다.

라우팅, 캐싱, 커널, GPU 클러스터와 같은 운영 계층이 새로운 것은 아니지만, 혁신은 이들의 통합된 상호 작용에 있습니다.

라우팅 계층에서 내린 결정은 모델 계층의 캐시 적중률을 직접적으로 변경할 수 있으며, 이는 상호 연결된 시스템 설계가 전체 성능에 미치는 심오한 영향을 보여줍니다.

이 지표는 사용자 가치와 만족도를 직접적으로 반영하기 때문입니다.

사용자 중심 지표 개선에 집중함으로써 인프라는 작업을 안정적이고 효율적으로 완료하여 전반적인 제품 비용을 절감하고 사용자 만족도를 높일 수 있습니다.

예를 들어, GPU 성능 저하는 대기 시간 증가를 유발하고, 이는 클라이언트 재시도를 촉발하여 큐 깊이를 증가시킵니다. 이는 정상 GPU를 포화시켜 더 많은 재시도를 유발하고 궁극적으로 전체 지역 장애로 이어집니다.

콜드 풀은 트래픽을 흡수할 수 있을 때까지 상당한 워밍업 기간이 필요하므로, 이 전환 기간 동안 핫 풀이 모든 들어오는 요청을 처리해야 합니다. 이는 부하 거부와 요청 대기열 추가 중에서 결정하기 위한 지능적인 승인 제어가 필요합니다.

이러한 전환에는 큐 관리, 스케줄링 및 오류 격리가 포함되며, 호스트 가상 메모리(HVM) 및 KV 캐시와 같은 새로운 제약 조건을 도입하여 정교한 시스템 수준 솔루션이 필요합니다.

주요 지표에는 첫 번째 토큰까지의 시간(TTFT), 활용률(컴퓨팅 대 메모리 병목 현상 비교), 성공당 비용, 전체 플랫폼 효율성을 측정하기 위한 엔드투엔드 요청 대기 시간이 포함됩니다.

예를 들어, 배치 크기를 늘리면 처리량은 향상되지만 테일 대기 시간은 저하되고, 예측 디코딩은 대기 시간을 향상시키지만 비용을 증가시키며, 작은 모델은 비용을 절감하지만 품질 및 재시도 오버헤드의 위험이 있으므로 이러한 제약 조건의 신중한 균형 조정이 필요합니다.

이러한 변화는 개별 가상 머신 관리에서 Kubernetes를 사용하여 오케스트레이션하는 것으로의 전환을 반영하여 모델을 동적 오케스트레이션 계층 내의 리소스로 취급하여 운영을 간소화합니다.

탄력성만으로는 효율성을 위한 해결책이 아닙니다. 오히려 제어 루프는 시스템을 자동으로 감지, 탐지 및 적응해야 하며, 주요 교훈은 토큰만이 아니라 성공적인 작업을 최적화하는 것입니다.