AI 속도 조절론, 메모리 수요 영향은?

AI 시장은 최악의 구간을 지나 상승세로 전환된 이후 그 기조를 유지하고 있다. 비록 AI 관련 안전 문제 등 여러 이슈가 제기되었지만, 이러한 논란들이 전반적인 AI 시장의 성장 방향성을 바꾸지는 못하고 있다.

유니스토리자산운용 김장열 리서치센터 센터장은 "최악은 지나서 올라가는 거 속도에만 이슈지 올라가는 거는 방향 틀 거 같다라고 말씀을 드렸는데 그 기조 자체가 흔들리지 않았습니다"라고 설명한다.

AI 안전망 구축을 위한 속도 조절론은 AI의 완전 자율성과 통제 기반 AI의 효율성 차이에서 발생한다. 통제를 완전히 벗어난 AI는 작업 완수 속도가 빠르지만, 통제를 두면 리스크는 줄어드는 대신 속도가 지연되는 문제가 생긴다.

이러한 안전론의 핵심은 인간 개입(Human-in-the-loop) 개념을 어떻게 적용할지에 있다. 미국 정부와 마이크로소프트 등 주요 기업들 간에도 AI 가이드라인에 대한 이견이 존재하여, 통제 수준과 방식에 대한 논의가 활발히 진행 중이다.

단순 검색, 요약, 일정 정리와 같은 낮은 위험(Low Risk) 작업은 AI가 자율적으로 실행해도 문제가 없다.

이메일 발송, 문서 수정, 고객 답변 등 중간 위험(Medium Risk) 업무는 인간의 확인이 필요하다. 금전 거래, 계약 체결, 보안 정보 변경과 같은 높은 위험(High Risk) 업무는 반드시 인간의 승인이 필수적이다.

김장열 센터장은 "자료 검색하고 요약하고 일정 정리하는 건 자율적으로 실행해도 무방하지만, 외부 발송이나 공식 답변 등 리스크가 있는 업무는 인간이 확인할 필요가 있습니다"라고 강조했다.

그러나 모든 과정에 일일이 개입하면 AI의 작업 속도가 현저히 늦어질 수 있다.

이러한 단점을 보완하기 위해 '휴먼 온 더 루프(Human-on-the-loop)' 개념도 등장했다. 이는 AI의 전체 과정을 지켜보며 결정적인 문제가 발생할 상황에서만 인간이 개입하는 방식이다. 세밀한 개입은 AI 에이전트의 자율적이고 빠른 처리라는 장점을 저해할 우려가 있어, 효율적인 개입 방식에 대한 논의가 이어진다.

AI의 최종 의사결정을 인간이 감시하고 개입하는 '휴먼 인 더 루프(HITL)' 방식은 AI 개발 과정에 시간을 요구한다. 이러한 개념의 도입이 AI 개발 속도 둔화로 이어질 수 있는지에 대한 의문이 제기된다.

현재까지는 개발 속도 둔화가 GPU 및 메모리 수요 감소로 직결될지는 미지수다. 김장열 센터장은 "사람은 위에서 감시하다가 결정적으로 문제가 될 소만 있을 때만 개입하자. 이게 휴먼 인 더 루프인데 이 개념을 가지고 아마 좀 시간이 필요할 것 같아요"라고 말한다.

AI가 복잡한 생각을 중첩하고 누적할수록 이전 단계의 정보 보존과 기억이 필수적이다. 특히 AI 에이전트 서비스는 긴 문장과 많은 정보를 동시에 처리해야 하므로, 추론 횟수가 증가하고 데이터 처리가 늘어난다.

이 과정에서 GPU 및 메모리 사용량은 동반 상승한다. 김장열 센터장은 "생각의 중첩이 되면서 누적이 되면서 그전 단계의 생각들을 계속 보존하고 기억해야 됩니다. 그걸 계산해야 돼요. 그래서 여기 들어가는 메모리나 GPU 숫자는 GPU의 활용도는 더 높아지는 거예요"라고 설명했다.

AI가 외부 데이터베이스에서 정보를 가져와 처리하는 방식인 RAG(검색 증강 생성) 호출 횟수가 줄어들면 메모리 사용량이 감소할 것이라는 예상이 나올 수 있다. 그러나 현실에서는 AI가 한 번에 처리하는 정보의 양, 즉 '긴 컨텍스트 윈도우(Context Window)'가 훨씬 더 중요해지는 추세다.

컨텍스트 윈도우는 AI가 특정 정보를 보고 기억하며 답변하는 데 사용하는 정보의 총량을 의미한다. AI가 한 번에 가져오는 토큰의 양이 많아질수록 KV 캐시 등 필요한 메모리 자원이 증대된다.

따라서 RAG 호출 횟수보다는 AI가 한 번에 처리하는 정보의 복잡성과 길이가 메모리 수요에 더 큰 영향을 미친다.

미국 AI 기업들은 막대한 비용이 소요되는 학습 모델 구축에서 벗어나, 비용 효율성이 높은 추론형 모델로 전환하고 있다. 학습 모델의 개발이 엄청난 자원을 요구하기 때문에, 수익 창출이 가능한 추론 모델에 집중하는 전략을 선택한 것이다.

추론형 모델은 학습 모델에 비해 개발 속도가 다소 느릴 수 있지만, 높은 컨텍스트 처리량을 바탕으로 메모리 수요를 지속적으로 견인한다. 김장열 센터장은 "이 학습 모델의 끝판왕을 봤기 때문에 돈이 많이 들어가서 야, 여기 같이 돈을 뿜었다가는 나 죽겠다. 그래서 추론형으로 많이 가는 거예요. 그럼 추론형은 돈을 걷어들이는 거거든요"라고 설명한다.

이는 AI 개발 과정에서 성능 향상 속도가 예상보다 훨씬 빠르다는 것을 의미한다. 당초 예측보다 훨씬 빠르게 기술이 진화하고 있다는 것이다.

이러한 급진적인 발전은 오히려 자원 부족으로 인한 반도체 수요 급증이라는 강력한 현상을 야기하고 있다. 속도 조절론은 표면적인 논의일 뿐, 실제 AI 산업은 강력한 성장세를 유지하며 관련 반도체 수요를 견인하는 상황이다.

김장열 센터장은 개발 속도를 "35도로 가는 줄 알았는데 이렇게 봤는데 55도로 가는 거야. 개발하다 보니까 이 35도가 45도 55도인 거예요. 그러니까 겁이 나는 거죠"라며 비유했다.

AI 속도 조절론은 일종의 시장 노이즈일 뿐, AI 학습 모델에 대한 수요는 여전히 견고하다. 학습 모델 구축에는 막대한 비용이 들지만, 추론형 에이전트의 수요는 지속적으로 강화되고 있기 때문이다.

속도 조절론이 제기된다고 해서 AI 관련 수요가 즉각적으로 감소하지는 않는다. 김장열 센터장은 HBM 가격 상승 여부에 집중해야 한다고 강조하며, 이는 AI 시장의 실제 수요를 반영하는 핵심 지표라고 설명했다.

HBM(고대역폭 메모리) 시장에서 가장 중요한 지표는 대역폭이다. 대역폭은 메모리가 초당 처리할 수 있는 데이터의 양을 의미하며, AI 성능에 결정적인 영향을 미친다.

오픈AI가 자체 개발한 칩 '할라페오'와 삼성전자의 GHBM 등 HBM 제품들의 관계성을 이해하는 것이 중요하다. 이러한 기술적 연관성을 통해 HBM 시장의 주도권(헤게모니)이 어떻게 변화하는지를 파악할 수 있다.

HBM 가격이 오르는 것은 그만큼 수요가 강력하다는 방증이며, 이는 엔비디아와 브로드컴과 같은 주요 기업들이 AI 수요에 대한 높은 자신감을 가지고 있음을 시사한다.

이들 기업은 이미 8월 말과 9월 초에 AI 수요에 대한 확신을 표명했다. 따라서 단기적인 주가 하락은 오히려 AI 관련주를 저가에 매수할 수 있는 기회로 해석될 수 있다.

금리가 상승하더라도 경제가 이를 감당할 수 있는 수준으로 변화한다면 큰 문제는 발생하지 않는다. 특히 빅테크 기업이나 하이퍼스케일러 기업들은 높은 금리 수준을 받아들일 수 있는 충분한 체력을 갖추고 있다.

이들 기업은 AI를 통한 생산성 향상과 토큰 가치에 대한 확신이 있다면 투자를 지속할 것으로 보인다. 금리 상승이 작은 기업들에게는 부담이 될 수 있지만, AI 산업을 선도하는 거대 기업들의 투자 동력은 쉽게 약화되지 않을 것이라는 분석이다.

엔비디아가 AI 투자 지원 역할을 자처하는 것도 이러한 맥락에서 이해할 수 있다.