네이븐 라오, AI의 에너지 문제에 대해 말하다

그는 AI를 인류가 하드웨어 혁신을 통해 전례 없는 수준의 발전을 이룰 수 있도록 하는 가장 변혁적인 기술 중 하나로 보고 있습니다.

라오는 2014년에 초기 AI 칩 회사인 Nervana Systems를 설립했으며, 이 회사는 나중에 Intel에 인수되었고, 그는 2020년까지 Intel의 AI 그룹을 이끌었습니다.

Intel에서 그는 대규모 언어 모델(LLM) 훈련을 확장하고 GPU를 플랫폼화하기 위한 인프라 구축에 주력했으며, 2023년 Databricks와 합류하여 현재 그의 부문은 회사 총 수익의 4분의 1을 차지하고 있습니다.

초기 목표는 5년 내에 전력 효율을 1000배 향상시키는 것이었지만, 라오는 AI를 사용하여 복잡한 과학 문제를 더 빠르게 해결할 수 있는 능력이 증가함에 따라 이 목표를 3.5년으로 단축했습니다.

Unconventional AI는 이론 연구자부터 물리 엔지니어까지 다양한 팀을 포함하는 포괄적인 상향식 전략을 사용합니다.

수학 및 신경과학 박사 학위를 가진 회사의 이론가들은 전력 효율을 높이기 위해 데이터 이동을 최소화하는 개념 개발에 집중하며, 이 개념은 모델로 변환되고 실제 데이터로 훈련되어 효과를 검증한 후 하드웨어 팀에 의해 생산을 위한 물리적 회로 및 시스템으로 구축됩니다.

이 소비량은 미국의 전체 데이터 센터 할당량 40기가와트와 전 세계 총 용량 100기가와트 미만과 비교할 때 상당합니다.

이러한 수치는 AI의 에너지 수요가 향후 3년 내에 전 세계 공급량을 초과하여 추가 개발 및 배포에 심각한 병목 현상을 초래할 것으로 예상됨을 나타냅니다.

데이터 센터 인프라 개발의 우선순위는 바닥 공간과 네트워킹 기능에서 GPU로, 이제는 주로 에너지 가용성으로 극적으로 전환되었습니다.

에너지 계약은 새로운 데이터 센터 건설을 시작하기 위한 필수 전제 조건이 되었으며, 단일 AI 토큰을 제공하는 비용의 약 50%가 에너지 소비에 직접적으로 기인합니다.

생물학적 시스템은 놀라운 에너지 효율을 보여주는데, 인간 뇌는 약 20와트로, 원숭이 뇌는 스마트폰과 비슷한 1와트로 작동합니다.

복잡한 물리적 동작을 수행할 수 있는 다람쥐의 뇌조차도 단 8밀리와트를 소비하며, 이는 지능을 위한 이상적인 물리적 기질로서 생물학의 능력을 강조합니다.

고성능 GPU는 초당 거의 30조 비트를 메모리 안팎으로 이동시키는데, 이는 1940년대 디지털 컴퓨팅이 등장한 이래로 크게 변하지 않은 근본적인 아키텍처 접근 방식을 반영합니다.

ENIAC과 같은 초기 컴퓨터는 에너지 효율성보다는 수동 계산 대비 속도를 위해 주로 설계되었으며, 이러한 우선순위는 대체로 지속되었습니다.

트랜지스터 수는 계속 증가하고 있지만, 주파수와 단일 스레드 성능의 전통적인 스케일링은 정체되어 있으며, 이는 종종 무어의 법칙이라고 불리는 더 작은 트랜지스터로부터의 효율성 향상 시대가 대체로 끝났음을 시사합니다.

이진수 0과 1로 작동하는 현재 디지털 시스템은 비효율적인 여러 수준의 손실 있는 추상화에 의존합니다.

반면 인간의 뇌는 선형 대수나 부동 소수점 수학에 의존하지 않고 뉴런의 물리적 행동을 통해 지능적인 기능을 수행하며, 이는 신경망 요구 사항에 맞춰진 반도체 물리학의 보다 직접적인 추상화가 컴퓨팅을 크게 단순화하고 개선할 수 있음을 시사합니다.

자연은 새 떼의 동기화된 움직임이나 개미 군집의 집단 의사 결정과 같은 발현적 행동을 통한 수많은 계산 사례를 제공합니다.

동적 시스템 이론은 개별 구성 요소의 단순한 행동에서 복잡한 발현적 특성이 어떻게 발생하는지 탐구하며, 이러한 현상을 이해하기 위한 프레임워크를 제공합니다.

이 개념을 설명하는 물리적 모델은 움직이는 판 위에 놓인 동기화된 메트로놈을 포함하는데, 이들의 상호 연결성은 시스템 전체의 동기화 상태로 이어지며 새로운 계산 모델을 보여줍니다.

Unconventional AI가 개발한 UNO 모델은 이미지 생성과 같은 실제 컴퓨팅에서 발진기 시스템의 실제 적용을 보여줍니다.

이 모델은 물리적 발진기 네트워크를 활용하며, 이 발진기는 복잡한 이미지 생성 작업을 수행하도록 시뮬레이션되고 훈련됩니다.

UNO의 성공적인 구현은 이러한 동적 시스템을 확장하면 고급 이미지 생성 기능과 같은 유용하고 실질적인 출력을 생성할 수 있다는 구체적인 증거 역할을 합니다.

이 접근 방식은 전통적인 디지털 컴퓨팅 방법과 크게 다른 출발점이며, 잠재적으로 더 에너지 효율적이고 생물학적으로 영감을 받은 AI 시스템의 길을 열 수 있습니다.