NVIDIA와 OpenAI, AI 인프라 진화 상세 설명

스마트 GPU는 이제 자체 전력 사용량을 모니터링하고 관리할 수 있도록 оснаされています. 이는 데이터 센터 내 밀도를 극대화하는 데 매우 중요합니다. 이러한 자체 관리 기능을 통해 전기 부하를 보다 효율적으로 분배할 수 있습니다.

신뢰성을 위해서는 처음부터 전기 과도 현상과 갑작스러운 전력 스파이크를 처리하도록 데이터 센터 랙을 설계하는 것이 필수적입니다. 지능형 전력 컨트롤러와 PDU(Power Distribution Unit) 수학 스케줄러를 통합하면 보다 동적이고 반응성이 뛰어난 전력 인프라를 구축할 수 있습니다. 이안 벅은 “그렇게 하면 데이터 센터에 30~40% 더 많은 GPU를 넣을 수 있지만, 처음부터 그렇게 설계해야 한다”고 말했습니다.

여기에는 컴퓨팅 트레이 및 인터커넥트와 같은 요소를 공동 설계하여 처음부터 원활한 통합 및 성능을 보장하는 것이 포함됩니다.

신뢰성과 전력을 효과적으로 관리하는 것은 초기 변압기부터 개별 컴퓨팅 랙까지 모든 것을 포함합니다. 킬로볼트(kV) 및 과도 현상을 포함한 전기적 특성에 대한 포괄적인 이해는 강력하고 효율적인 AI 인프라를 구축하는 데 필수적입니다. 이안 벅은 “이러한 차세대 데이터 센터를 설계하는 것은 OpenAI와 협력하여 워크플로우에서 문제를 전체적으로 생각하고 설계할 수 있다는 것입니다”라고 강조했습니다.

향후 데이터 센터 프로젝트는 최대 8기가와트에 달하는 엄청난 용량에 도달할 것으로 예상되며, 워크로드 요구 사항, 냉각 시스템 및 전력 인프라를 통합하는 지속적인 공동 설계 루프가 필요합니다. 이러한 규모는 그리드 상호 작용에 대한 도전과 기회를 동시에 제시합니다.

이러한 대규모 시설은 전력 소비를 동적으로 조정하여 그리드 안정화 장치 역할을 할 수 있습니다. 사친 카티는 이를 다음과 같이 설명했습니다. “오하이오에서는 스파이크가 있을 때 작업을 줄일 수 있습니다. 격차가 있을 때는 그리드를 원활하게 유지하기 위해 실제로 늘릴 수 있습니다.” 이러한 적응형 부하 분담은 그리드 가용성이 높거나 낮은 기간 동안 수요의 균형을 맞춰 전기 비용을 줄이는 데 도움이 될 수 있습니다.

기존 데이터 센터 구축은 종종 서로 다른 구성 요소를 개별적으로 설계하여 비효율성과 호환성 문제를 초래합니다. 처음부터 구축하는 그린필드 프로젝트는 처음부터 모든 계층에 걸쳐 통합 설계를 가능하게 함으로써 고유한 이점을 제공합니다.

이러한 처음부터의 통합은 에너지 그리드 자체를 현대화할 수 있는 협력 생태계를 조성합니다. 사친 카티는 다음과 같이 잠재력을 강조했습니다. “오늘날 모든 것은 사일로로 설계됩니다. 이 그린필드 프로젝트의 이점은 처음부터 시작한다는 것입니다. 우리는 모든 다른 계층을 적절하게 설계하여 그리드에서 매우 좋은 시민이 될 수 있습니다.”

OpenAI는 인프라 최적화를 위한 AI 서비스를 출시하여 기존 코드를 새로운 하드웨어에 적용하는 데 상당한 발전을 보였습니다. 원래 Blackwell에 최적화된 Astra 추론 코드는 최소한의 수정만으로 Rubin 하드웨어에 성공적으로 포팅되었습니다.

이 포팅 노력은 즉각적이고 인상적인 결과를 가져왔으며, 바로 3배의 처리량 향상을 달성했습니다. 사친 카티는 “Blackwell에 최적화했던 동일한 코드를 Rubin에서 실행하여 3배의 향상을 얻었습니다”라고 언급했습니다.

이러한 효율성 향상은 최적화된 코드의 이식성과 기본적인 견고성을 강조합니다. 이 성공은 Rubin에 대한 후속 최적화가 이미 강력한 성능 기반 위에서 이루어질 것임을 시사합니다.

또한 팀은 Astra를 활용하여 Rubin 플랫폼에서 자체 성능을 개선하고 향상시키는 재귀적 최적화 루프를 실행하고 있습니다. 이러한 자체 최적화 접근 방식은 미래에 훨씬 더 큰 효율성을 가져올 것으로 예상됩니다.

이제 엔지니어는 전문가 검토 전에 코드를 이러한 도구에 제출하여 개발 주기 초기에 일반적인 문제와 알려진 버그를 찾아내는 데 도움을 받습니다.

이러한 도구는 소프트웨어 스택의 다양한 측면에 대한 전문 지식을 가진 도메인별 에이전트를 활용합니다. 사친 카티는 “이제 우리는 도구에 미리 제출할 수 있는 의제 도구를 가지고 있습니다. 그리고 그것은 일반적인 문제나 알려진 버그를 찾습니다. 왜냐하면 우리는 소프트웨어 스택의 다양한 측면에 대해 인식하고 지식이 풍부한 개별 에이전트를 가지고 있기 때문입니다”라고 설명했습니다.

AI 기반 코드 사전 검사의 초기 구현은 느린 성능으로 인해 개발자들의 저항에 부딪혔습니다. 테스트에 1~2시간이 걸렸기 때문입니다. 이러한 마찰은 개발 프로세스를 늦추고 엔지니어들 사이에서 도구의 인기를 떨어뜨렸습니다.

OpenAI는 GPT의 토큰 효율성을 활용하여 이러한 검사의 실행 시간을 크게 단축했습니다. 사친 카티는 “처음에는 1~2시간의 에이전트 테스트를 거쳤고, 모든 개발자들이 너무 느려서 싫어했습니다. GPT를 사용하면 더 적은 토큰으로 할 수 있습니다. 더 빨리 진행됩니다”라고 언급했습니다. 사전 검사 대기 시간으로 15분을 ‘최적의 지점’으로 식별한 것이 개발자 경험과 도구 채택을 개선하는 데 결정적인 역할을 했습니다.

AI 도구는 기존 개발자 툴박스 내에서 새롭고 가치 있는 계층으로 부상하고 있으며, 현재 워크플로우와 원활하게 통합됩니다. 이러한 도구는 기존 프로파일러 또는 기타 필수 개발 유틸리티를 대체하는 것을 목표로 하지 않습니다.

대신 AI는 기존 클라우드 가속화 도구를 보완하고 에이전트가 라이브러리 또는 기존 도구를 직접 활용할 수 있도록 함으로써 생산성을 향상시킵니다. 이안 벅은 “AI는 다른 모든 프로파일러와 함께 우리 툴박스의 또 다른 도구라고 생각합니다. 이러한 다른 도구들은 대체되지 않을 것입니다. 모두 상호 보완적입니다”라고 말했습니다.

EDA(Electronic Design Automation) 및 유체 시뮬레이션과 같은 다양한 소프트웨어 도메인은 현재 고유한 도메인별 언어를 사용하여 통신합니다. 이러한 다양성은 광범위한 응용 분야에서 AI를 조정하는 데 어려움을 초래합니다.

현재 8,000개 이상의 GPU 가속 응용 프로그램이 사용되고 있는 상황에서 이러한 이질적인 시스템을 정렬하는 것은 미래 생산성에 매우 중요합니다. 이안 벅은 “모든 도메인은 다른 언어로 말합니다... 그들은 모두 사용자, 에이전트, AI 모두에게 알려진 라이브러리, 알고리즘, 개념의 언어로 말합니다”라고 설명했습니다. 라이브러리, 알고리즘 및 핵심 개념을 포괄하는 이러한 언어를 표준화하는 것은 원활한 AI 통합 및 작동에 필수적입니다.

업계는 인프라 복잡성을 무시하거나 추상화하려던 과거의 접근 방식에서 벗어나고 있습니다.

이러한 복잡한 상호 작용을 관리하려면 모든 시스템 요소에 걸쳐 최적의 상호 작용 및 성능을 보장하기 위해 엄격하게 제어되는 루프가 필요합니다. 사친 카티는 “이질성은 삶의 사실입니다. 우리는 오랫동안 그것을 다루지 않으려고 노력했지만, 더 이상 그럴 수 없거나 미래를 생각할 때 그럴 수 없다고 생각합니다”라고 단언했습니다.

OpenAI 내의 소규모 팀은 점점 더 자체 내부 AI 모델을 활용하여 정교한 시스템 오케스트레이션 소프트웨어를 구축하고 있습니다. 이 전략은 복잡한 인프라 관리 작업을 자동화하고 최적화하는 것을 목표로 합니다.

특히 Astra는 이러한 시스템의 엔드투엔드 최적화에 매우 효과적인 것으로 입증되었습니다. 사친 카티는 “우리의 추진력은 우리 자신의 모델, 우리 자신의 AI를 사용하여 이러한 오케스트레이션 소프트웨어를 구축하는 방법에 있습니다… Astra는 실제로 엔드투엔드 최적화에도 매우 능숙합니다”라고 말했습니다. 미래 전략은 이러한 AI 에이전트가 전체 시스템을 자율적으로 관리하고 미세 조정할 수 있도록 원격 측정 데이터를 노출하여 자체 최적화 인프라로 나아가는 것입니다.