GPU를 넘어: AI 컴퓨팅의 미래

2020년 이전에는 Jensen Huang이 AI보다는 암호화폐 채굴 및 컨볼루션 신경망을 위해 줄당 부동 소수점 연산을 최대화하는 것을 우선시했다고 한 연사가 언급합니다.

GPT-2 및 GPT-3와 같은 대규모 언어 모델의 등장은 AI 하드웨어에서 엄청난 메모리 용량과 대역폭의 중요성을 강조했습니다.

AI 요구 사항의 이러한 변화로 인해 Nvidia는 2020년 이후 하드웨어 개발 전략을 전환하여 순수한 계산 효율성을 넘어 변환기 모델을 특별히 지원하는 아키텍처를 우선시하게 되었습니다.

데이터 센터는 현재 상당한 에너지 낭비를 초래하고 있으며, 빛과 전기 간의 신호 변환 중 에너지의 99.99%가 손실되는 것으로 추정됩니다.

빛으로 직접 계산을 수행하는 것은 거의 즉각적이며 전력을 거의 소비하지 않으므로 해결책을 제공합니다.

그러나 빛 내부에 비트를 직접 저장하는 효과적인 방법을 찾는 것이 주요 기술적 과제로 남아 있습니다.

SOMA(Sharded Optimization Mixture of Assemblies) 아키텍처는 대규모 데이터 세트를 클러스터링하고 개별 GPU에서 더 작고 특수화된 LSTM을 훈련하는 것을 포함합니다.

기존 기울기 추정 방법은 모델 크기에 따라 오류율이 선형적으로 증가하는 경향이 있어 확장성 문제에 직면합니다.

모델을 샤딩함으로써 SOMA 접근 방식은 기울기 노이즈를 제한하여 모델이 확장됨에도 불구하고 더 안정적인 훈련을 가능하게 합니다.

광자는 전자보다 10,000배 낮은 손실과 훨씬 높은 대역폭을 보여주어 효율적인 데이터 처리에 이상적이므로 전자보다 상당한 이점을 제공합니다.

광자는 서로 상호작용하지 않기 때문에 빛 전파는 본질적으로 대규모 병렬 처리를 지원하여 간섭 없이 동시 데이터 처리를 가능하게 합니다.

목표는 AI 시스템의 에너지 집약적인 전자 행렬-벡터 곱셈을 수동 광학 변조로 대체하여 전력 소비를 크게 줄이는 것입니다.

일커의 팀은 이미지 생성을 위한 확산 모델의 중요한 단계인 디노이징을 수행하기 위해 빛 전파를 사용하는 개념 증명 시스템을 시연했습니다.

한 가지 중요한 문제는 디지털 전자 메모리와 광학 도메인 간에 데이터를 변환하는 데 드는 높은 에너지 비용입니다.

물리적 광학 장치를 프로그래밍하고 보정하는 데는 능동적인 에너지 소비가 필요하며, 이는 운영 비용을 증가시킵니다.

디지털 트랜지스터로 쉽게 처리되는 비선형 활성화 함수를 구현하는 것은 수동 광학 설정에서 복잡한 과제를 제시합니다.

비선형성을 유도하기 위한 초기 실험에는 다중 모드 광섬유에서 강렬한 빛 펄스를 사용하는 것이 포함되었으며, 이 방법은 추가적인 시스템 복잡성을 초래합니다.

추론 중 동적 가중치 업데이트 대신, 이 알고리즘은 하위 단위의 고정된 스케줄을 사용하는 정적, 다단계 아키텍처를 사용합니다.

1,000단계 확산 프로세스는 100단계 하위 단위로 분할되며, 각 세그먼트에서 매개변수는 일정하게 유지됩니다.

이 접근 방식은 고속 하드웨어 가중치 업데이트 없이도 시스템이 확산 모델로 작동할 수 있도록 합니다.

이 시스템은 디지털 신경망에서 관찰된 것과 일치하게 거듭제곱 법칙을 따르는 성능 스케일링을 시연했습니다.

현재 광학 부품에도 불구하고 이 설정에서 디지털 전자가 여전히 주요 병목 현상입니다.

디지털 인터페이스 상호작용 빈도를 최소화하기 위해 순환 신경망(RNN) 구조를 탐색할 잠재력이 있습니다.

디지털 인터페이스를 최소화하면 빈번한 디지털-아날로그 변환과 관련된 계산 부담을 줄일 수 있습니다.

이 복잡한 장기는 아이폰 충전기와 유사한 약 20와트의 전력으로 작동하며 놀라운 에너지 효율성을 보여줍니다.

뇌는 단 몇 개의 예시로 정교한 작업을 학습할 수 있으며, 이는 자율 주행 차량에 사용되는 것과 같은 현재 AI 시스템의 방대한 데이터 요구 사항과는 극명한 대조를 이룹니다.

주요 속성에는 메모리와 컴퓨팅의 융합, 스파이크를 통한 이벤트 기반 통신 사용, 하드웨어의 구조적 및 기능적 적응성 활성화가 포함됩니다.

스파이크 뉴런은 누설성 축전기와 유사하게 작동하여 특정 임계값에 도달할 때까지 전하를 축적합니다.

이 임계값에 도달하면 뉴런은 이산적인 디지털 스파이크를 '발사'하여 정보를 전송합니다.

이 메커니즘은 시스템이 순수하게 아날로그도 순수하게 디지털도 아니며, 시간과 신호 진폭을 모두 중요한 변수로 독특하게 사용함을 나타냅니다.

이 이벤트 기반 처리는 기존 디지털 논리와 근본적으로 다르며, 지속적이고 동적인 계산 활동을 가능하게 합니다.

CMOS 기술의 결합 발진기와 같은 더 실험적인 '공상 과학' 접근 방식은 현재 야심 차고 광범위한 채택 전에 추가 연구 개발이 필요합니다.

최신 실리콘에서는 이제 인터커넥트 커패시턴스가 게이트 커패시턴스를 초과하여, 전선을 통한 데이터 이동이 실제 트랜지스터 스위칭보다 더 많은 에너지를 소비함을 나타냅니다.

현재 하드웨어의 에너지 소비 대부분은 비트 처리보다는 비트 이동에 의해 지배됩니다.

광학은 이러한 전통적인 배선 제약을 우회하여 컴퓨팅의 에너지 효율성을 혁신할 잠재력을 제공하는 유망한 솔루션입니다.

연사는 개인적으로 광학이 하드웨어 패키징에서 이 문제를 해결할 핵심 기술이 될 것이라고 믿습니다.

실리콘이 주요 컴퓨팅 매체로 계속 사용되는 것은 전자 회로 작업에 대한 산업의 광범위한 숙련도와 전문 지식에서 비롯됩니다.

다이아몬드 기판과 같은 이국적인 재료가 탐색되고 있지만, 실리콘의 지배력은 탄소와 같은 다른 재료에 대한 본질적인 우월성 때문이라기보다는 확립된 공학적 역량의 결과입니다.

핵심 초점은 실리콘과 탄소 사이의 배타적인 논쟁보다는 전자 원리의 구현 및 실행에 있어야 합니다.

따라서 회로 설계에서 실리콘에 대한 선호는 축적된 수십 년의 지식과 인프라를 활용하는 실용적인 이유가 큽니다.

생체 시스템의 인코더 네트워크는 컨볼루션 신경망(CNN)에 의해 처리된 이미지 데이터를 스칼라 관측치와 연결합니다.

이 결합된 입력은 각 신경 채널을 자극하는 데 필요한 특정 주파수 및 진폭 값을 출력하는 다층 퍼셉트론(MLP)을 통과합니다.

처음에는 인코더가 강도 매개변수를 선택하는 데 제한되었지만, 나중 반복에서는 특정 전극을 자극하는 기능을 확장했습니다.

디코더가 스스로 게임을 플레이하여 '속임수'를 쓰는 것을 방지하기 위해 연구자들은 디코더를 엄청나게 작게 만들었으며, 이는 생체 시스템의 신경 스파이크가 게임 플레이에 필수적임을 보장했습니다.

스파이크 자체가 게임 플레이와 관련된 정보를 실제로 전달하는지 확인하기 위해 광범위한 절제 연구가 수행되었습니다.

과도하게 큰 실리콘 디코더는 의도치 않게 독립적으로 게임을 플레이하는 법을 배울 수 있으며, 이는 생체 세포가 필요한 기술을 실제로 습득하는 것을 방해할 수 있습니다.

연사는 현재 초파리 뇌 연구에서 흔히 발생하는 문제, 즉 과도하게 큰 디코더가 진정한 생물학적 지능을 보여주기보다는 실리콘 기반 성능으로 이어지는 경우가 많다고 강조합니다.

이 시스템은 제어를 위해 끊임없이 경쟁하는 두 개의 동적 시스템을 포함하므로 평형의 안정 상태에 도달하지 않습니다.

일반적인 강화 학습과는 달리, 연구자들은 엔트로피에 명시적으로 페널티를 부과했으며, 이를 신경 세포의 행동을 유도하는 데 유용한 메커니즘으로 발견했습니다.

이 배양액은 자발적으로 자가 조직화를 통해 높은 엔트로피의 비동기식 자극 속도를 최소화합니다.

엔트로피에 대한 이러한 능동적인 제어는 시스템이 정적인 상태로 정착하는 것을 허용하기보다는 동적이고 반응적인 시스템을 유지하는 데 도움이 됩니다.