GPU가 '놀고 있는' AI 시대, 메모리 병목 현상 심화
원본 영상 2:15과거에는 중앙처리장치(CPU)가 연산하는 동안 메모리가 데이터를 천천히 공급하며 병목 현상을 일으켰습니다. 그러나 인공지능(AI) 시대에 접어들면서 그래픽처리장치(GPU)와 같은 연산 장치의 성능이 무어의 법칙을 따라 기하급수적으로 발전하는 동안, 메모리의 데이터 전송 속도 개선은 상대적으로 더디게 진행되었습니다.
이로 인해 이제는 GPU가 연산을 마치고 다음 데이터를 기다리는데 메모리가 제때 데이터를 공급하지 못해 GPU가 유휴 상태에 빠지는 현상이 빈번하게 발생하고 있습니다. 이는 전체 시스템의 효율성을 저해하는 주요 원인으로 지목되며, 고성능 메모리에 대한 수요를 폭발적으로 증가시키는 배경이 되고 있습니다.
예전에는 CPU는 한창 일을 하고 있는데 메모리가 이렇게 가만히 있다가 데이터를 천천히 주는 그런 느낌이었는데 지금은 GPU가 일을 다 하고 기다리고 있는데 데이터 전송이 안 와 가지고 GPU가 놀고 있는 상황인 거예요.


