NVIDIA, 에이전트 AI 위한 Vera Rubin 공개

그는 점점 더 자율화되는 AI 시스템에 의해 주도되는 새로운 추론 시대의 정의를 강조했습니다.

NVIDIA는 이러한 혁신을 이끌고 고급 AI 기능을 가능하게 하는 데 특히 중점을 둔 Vera Rubin 플랫폼을 소개합니다.

이안 벅은 데이터 저장 및 통신이 필수적이지만, 현대 데이터 경제에서 가치 생성의 근본적인 원천은 컴퓨팅에 있다고 설명했습니다. 원시 데이터를 의미 있는 계산으로 변환하는 것이 이 가치 창출의 핵심을 이룹니다.

이 컴퓨팅 프로세스는 분리된 정보를 실행 가능한 결과로 바꾸어 단순한 데이터 축적보다 그 중요성을 강조합니다.

이 방대한 수에도 불구하고 약 3,000개의 모델이 전체 다운로드의 90%를 차지하며 인기 있고 영향력 있는 모델에 집중되어 있음을 나타냅니다.

이러한 다양성은 비전, 생명 과학 및 로봇 공학의 중요한 응용 프로그램을 포함하여 광범위한 워크로드를 지원하며 AI의 광범위한 유용성을 보여줍니다.

이 플랫폼은 이전 벤치마크를 넘어 AI 운영의 증가하는 복잡성과 규모를 처리하도록 구축되었습니다.

Vera Rubin 플랫폼은 대규모 학습을 위한 강력한 지원을 유지하여 모델 개발과 배포를 모두 수용할 수 있도록 합니다. 아키텍처는 지속적인 운영을 위해 내구성이 뛰어나고 효율적인 인프라를 필요로 하는 AI 팩토리를 구동하도록 명시적으로 설계되었습니다.

이안 벅은 2023년 벤치마크가 가치를 이해하기 위한 기반을 마련했으며, 인간이 참여하는 채팅 상호작용에 초점을 맞췄다고 언급했습니다.

이러한 벤치마크의 원래 측정 지표는 1,000개의 입력 토큰과 4,000개의 KV 캐시를 활용하여 초기 대화형 AI의 규모를 반영했습니다. 현재 추세는 단순한 채팅 전환에서 벗어나 더 큰 자율성과 복잡성으로 작동하는 정교한 자동 에이전트 프로세스로 이동하고 있습니다.

에이전트 AI 시스템은 지속적인 루프에서 작동하며, 끊임없는 인간의 개입 없이 컨텍스트 창과 상호작용하고 추가합니다. 이 지속적인 활동은 KV 캐시 및 컴퓨팅 턴에 대한 요구를 크게 증가시킵니다. 에이전트는 컴퓨팅 리소스가 허용하는 한 빠르게 턴을 수행할 수 있어 인간의 대기 시간을 없앱니다.

이러한 방대한 상태 지속성을 지원하기 위해 KV 캐시는 전체 데이터 센터에 걸쳐 효과적으로 관리되어야 하며, 이는 에이전트 운영의 상당한 규모를 반영합니다.

단순한 토큰 입력/출력 모델에서 복잡한 에이전트 워크로드로의 전환은 상당한 오케스트레이션 과제를 야기합니다. 현대 AI 운영은 동적 쿠버네티스 컨테이너 및 헬름 차트를 효과적으로 관리하기 위해 CPU 기반 오케스트레이션을 필요로 합니다.

이제 모델은 대규모 언어 모델(LLM) 처리, 고급 추론, 다양한 하위 에이전트 간의 지능형 라우팅을 포함한 광범위한 작업을 처리해야 합니다. 또한 보안 및 거버넌스와 같은 중요한 측면을 통합해야 하며, 모델은 환각 및 비효율적인 토큰 사용과 같은 문제를 방지하기 위해 모니터링되어야 합니다.

NVIDIA의 Dynamo 소프트웨어는 사전 채우기 및 디코딩 단계를 분리하여 토큰 처리량을 최대화하는 데 중요한 역할을 합니다.

이러한 분산 노드에 걸쳐 방대한 KV 캐시 요구 사항을 지원하려면 스마트 스토리지 솔루션과 NVLink 네트워킹이 필수적인 구성 요소입니다.

Vera Rubin 플랫폼은 실제 에이전트 벤치마크에서 상당한 성능 향상을 달성하여 고처리량 AI 팩토리 운영 능력을 입증했습니다. SemiAnalysis 벤치마크의 새로운 결과는 에이전트 워크로드에서 AI 팩토리 처리량이 30배 향상되었음을 나타냅니다.

일부 특정 에이전트 워크로드에서는 성능 향상이 최대 60배에 달하여 플랫폼의 다양성과 강력함을 보여줍니다. 전력 제약이 있는 데이터 센터의 경우 중요한 효율성 지표는 메가와트당 총 토큰 처리량이며, 여기서 Vera Rubin은 탁월한 성능을 보여줍니다.

이 협업은 사용자 상호작용에 특히 효과적이며 AI 모델로부터 빠른 응답을 가능하게 합니다.

성능 벤치마크는 인상적인 속도를 보여주며, Gemma 4 모델은 초당 3,400개의 토큰을, Qwen 3.8 모델은 초당 2,529개의 토큰을 달성합니다. 이러한 높은 처리율은 100K 컨텍스트와 같이 상당한 컴퓨팅 리소스를 요구하는 대규모 컨텍스트 창에 중요합니다.

이 코어는 속도와 완전한 컴퓨팅 기능을 위해 구축된 Vera Rubin 랙에 필수적이며, 가능한 가장 빠른 시간 내에 답변을 생성하는 것을 목표로 합니다.

Olympus 코어는 모놀리식 컴퓨팅 다이를 특징으로 하여 CPU 아키텍처에서 흔히 발생하는 전통적인 삼중 공격을 제거합니다. LPDDR 메모리 서브시스템은 대기 시간을 40% 감소시켜 중요한 CPU 계산을 위한 메모리 액세스를 최적화합니다.

이 설계는 메모리 대기 시간을 최소화하는 것을 우선하며, 이는 에이전트 AI 워크로드에 내재된 빠르고 반복적인 계산에 중요합니다.

이전에는 단일 스레드 성능이 가장 중요했습니다. 클라우드 이전 CPU는 종종 게이밍 PC에 비유되었으며, 낮은 코어 수로 높은 단일 스레드 성능을 우선시하여 전체 처리량은 낮았지만 개별 작업은 매우 빨랐습니다.

그러나 현재 AI 시대는 복잡하고 병렬적인 워크로드를 처리하기 위해 방대한 코어 수와 우수한 효율성을 필요로 합니다. 이는 개별 작업 속도를 선호하는 레거시 설계에서 고성능 서버 기능을 위해 최적화된 아키텍처로의 근본적인 전환을 의미합니다.

Vera 플랫폼은 단순한 코어 수를 유일한 가치 지표로 삼지 않고 성능 효율성에 대한 전체론적 접근 방식을 강조합니다.

NVIDIA는 높은 처리량뿐만 아니라 우수한 단일 스레드 성능도 제공하여 플랫폼이 다양한 컴퓨팅 요구 사항에서 탁월하도록 보장하는 데 중점을 둡니다. 이 접근 방식은 순수 코어 수만으로는 현대 AI 워크로드에 필요한 전체 성능 프로필을 포착할 수 없다는 것을 인정합니다.

Vera Rubin 플랫폼의 초기 채택 기업인 Perplexity와 ClickHouse는 상당한 실제 배포 영향을 보고하고 있습니다. 빠른 작업에 중점을 둔 Perplexity는 샌드박스 시작 시간에서 1.5배의 개선을 보여 작업 실행 효율성이 향상되었음을 입증했습니다.

실시간 분석 데이터베이스인 ClickHouse는 Vera 플랫폼을 사용하여 최고 벤치마크 결과를 달성하여 고성능 데이터 처리 능력을 입증했습니다. Frontier Labs는 속도와 신뢰성을 활용하여 보안, 거버넌스 및 실시간 운영과 같은 중요한 기능에 ClickHouse를 사용하고 있습니다.

NVLink는 추론 성능 확장을 위한 중요한 구성 요소이며, NVIDIA는 이제 스위치 트레이 및 소프트웨어를 포함한 이 기술에 대한 접근을 더 넓은 시장에 개방하고 있습니다. 이 이니셔티브는 보다 통합적이고 광범위한 하드웨어 생태계를 조성하도록 설계되었습니다.

NVLink Fusion 프로그램을 통해 타사 칩 설계자는 자신들의 XPU를 NVIDIA 생태계에 통합할 수 있습니다. 이 과정에는 가속기 설계 및 NVIDIA와 협력하여 칩렛 IP 및 HBM의 발전을 활용하여 인터페이스를 구현하는 것이 포함됩니다.

The Matrix 및 Amazon의 Annapurna Labs와 같은 초기 파트너는 이미 이 개방형 아키텍처를 활용하여 맞춤형 실리콘 솔루션을 향상시키고 있습니다.

NVIDIA는 NVHBM에 대해 공개되지 않은 파트너와 협력하여 맞춤형 실리콘 기술을 NVHBM의 베이스 다이에 직접 통합하고 있습니다. 이 통합은 HBM 로직 및 메모리 관리를 베이스 다이 자체로 이동시킵니다.

이 혁신적인 접근 방식은 XPU의 상당한 컴퓨팅 리소스를 확보하여 전반적인 처리 능력과 효율성을 향상시킵니다.

이 소프트웨어는 모든 랙의 전력을 동적으로 관리하여 사전 설정된 전력 상한을 초과하지 않도록 합니다.

MaxLPS는 워크로드 변화에 따라 랙 전력을 동적으로 조정하여 기존 전력 예산 내에서 더 높은 GPU 밀도를 가능하게 하고 대규모에서 전체 토큰 수익을 최적화합니다.

주요 초기 파트너인 Lambda는 광범위한 벤치마킹 및 테스트를 통해 MaxLPS의 이점을 확인하고 컴퓨팅 용량에 미치는 영향을 입증했습니다. Lambda의 Dave Ward는 GPU 수를 늘리고 고객에게 토큰 제공량을 늘릴 수 있는 능력에 대해 상당한 흥분을 표했습니다.

MaxLPS는 B200에서 컴퓨팅을 25% 증가시켰으며, 동일한 전력 소비 내에서 Vera Rubin 플랫폼에서 최대 40% 더 많은 컴퓨팅을 제공할 것으로 예상됩니다. NVIDIA는 MaxLPS를 NCP 및 CSP 파트너에게 광범위하게 출시하여 업계 전반에 걸쳐 동적 전력 관리 기능을 확장할 계획입니다.