AI 연산의 비효율성: 폰 노이만 방식의 데이터 병목
거대 언어 모델(LLM)은 매 단어를 생성할 때마다 메모리를 빈번하게 참조해야 한다. 연산과 저장이 분리된 폰 노이만 방식의 물리적 거리가 데이터 병목과 전력 낭비를 초래한다는 게 정대성 교수의 설명이다.
AI 거대 언어 모델은 단어를 생성할 때마다 메모리를 빈번하게 참조해야 하는 구조적 한계를 안고 있다.
CPU와 메모리 간의 물리적 거리는 전자 세계에서 매우 멀어 데이터 병목과 전력 낭비가 발생한다.


