Kimi K3 등장에 AI 모델 가치 급락… 오픈웨이트 논쟁 심화

미국 정부가 인공지능 모델 개발에 대해 '아니야'라는 강력한 입장을 표명한 이후, 시장의 인식이 크게 변화했습니다. 이러한 변화는 오픈웨이트 모델에 대한 논의를 촉발했으며, 특히 Kimi K3의 등장이 이러한 분위기에 기름을 부은 격이 되었습니다.

일각에서는 AI 기술 발전과 함께 인프라 투자가 지속될 것이라는 낙관적인 전망을 내놓는 반면, 다른 한편에서는 모델의 효율화와 엣지 컴퓨팅의 발전으로 인해 단위 모델당 처리 능력이 향상되어 전체 컴퓨테이션 수요가 크게 늘지 않을 것이라고 주장합니다. 이러한 거품론과 성장론 사이에서 시장은 아직 명확한 방향을 정하지 못한 상태입니다.

Kimi K3는 어떤 작업 환경에서도 부족함 없는 능력을 보여주는 모델로 평가받고 있습니다. 이러한 고성능 모델이 오픈웨이트로 외부에 공개된 것은 AI 기술 접근성을 높이는 동시에, 기존 거대 AI 기업들의 가치에 대한 재평가를 촉발하는 계기가 되었습니다.

Kimi K3 페이퍼는 모델의 내부 구조인 아키텍처와 함께, 데이터를 어떻게 생성하고 학습시키는지에 대한 방법을 상세히 설명하고 있습니다. 이는 Kimi K2 페이퍼에서 다뤄졌던 학습 데이터 생성 방식의 진화와 더불어, 모델 성능 향상의 핵심 요소를 이해하는 데 중요한 정보를 제공합니다.

이러한 변화는 특정 이론적 배경 없이도 정보의 효율적인 흐름과 포착 가능성을 탐색하며 진행됩니다. 노정석은 이를 '발명'이 아닌 '발견'의 단계로 비유하며, 손실(loss) 감소와 평가(evaluation) 만족이라는 결과에 따라 새로운 접근 방식이 채택되는 과정을 설명했습니다.

KDA는 과거 LSTM 모델의 '기억할 것인가, 잊을 것인가'라는 게이트 개념을 연상시킵니다. 이는 리커런트 모델의 장점을 트랜스포머 구조 내에서 재해석하여 정보 처리 효율성을 높이려는 시도로 해석됩니다.

박종현은 트랜스포머가 RNN이나 LSTM에 비해 알고리즘적으로 훨씬 간단하면서도 규모가 크다는 점을 강조하며, KDA의 LSTM스러운 부분이 트랜스포머의 본질적인 강점과 상충될 수 있다는 의견을 제시했습니다.

최승준은 어텐션 잔차 구조가 파이프라인 병렬화와 관련될 수 있다고 주장했지만, 노정석은 이는 계산 결과가 캐시에 저장되는 메모리 문제에 해당하며 병렬화와는 직접적인 관련이 없다고 반박했습니다. 이는 모델의 성능 최적화에서 메모리 관리가 중요한 요소임을 시사합니다.

이러한 선언은 AI 모델 기술의 발전 속도가 너무 빠르고 복잡해져, 개별 논문을 깊이 파고드는 방식만으로는 전체 흐름을 따라가기 어렵다는 인식을 반영하는 것으로 보입니다. 이는 AI 연구 방향의 새로운 전환점을 예고하는 것일 수 있습니다.

노정석은 지도 미세 조정(supervised fine-tuning, SFT) 부분이 앤트로픽과 같은 선도 기업들의 모델을 '증류(distill)'하여 얻은 결과일 수 있다고 언급했습니다. 충분히 똑똑한 모델은 SFT만으로도 특정 기능이 크게 향상될 수 있다는 연구 결과가 이러한 의혹에 힘을 싣습니다.

이러한 규모의 데이터셋은 사람이 직접 만들거나 웹에서 수집하기 어렵습니다. 박종현은 긴 LLM들이 나오면서 누적된 새로운 종류의 데이터셋일 가능성을 언급하며, Kimi K3가 이 데이터를 어떻게 확보했는지에 대한 의구심을 표현했습니다.

Kimi K3는 'max effort' 상태에서 컴퓨트 예산(compute budget)을 제한하는 방식으로 학습됩니다. 높은 컴퓨트 예산이 주어질 경우, 모델은 문제 해결을 위해 다양한 경로를 탐색하고 추론 과정을 길게 가져가면서 학습됩니다. 이후 이러한 'max 모델'을 기반으로 컴퓨트 예산을 줄여나가며 효율적인 추론 능력을 갖추도록 만듭니다.

이는 실질적으로 환경을 직접 경험하고 추론하며 수많은 도구 호출을 수행하는 에이전트 환경과, 이를 위한 데이터셋을 합성하는 방법을 나타냅니다. 학습시킬 연습 문제의 커리큘럼이 더 이상 단순한 카테고리가 아니라, 복잡한 그래프 형태로 구성되어 에이전트의 학습 효율성을 극대화합니다.

노정석은 오픈웨이트 모델이 많아질수록 엔비디아와 같이 AI 칩과 인프라를 제공하는 기업에게만 이득이 된다고 지적했습니다. 이는 강력한 AI 모델이 보편화될수록 모델 자체의 가치보다는 이를 구동하는 하드웨어의 중요성이 커진다는 의미로 해석됩니다.

앤트로픽의 다리오 아모데이(Dario Amodei)는 오픈웨이트를 배척하는 것은 아니지만, 후발 주자들의 추격이나 보안 문제 등을 해결하기 위한 칩 수출 통제, 인프라 수출 통제, 산업 규모의 증류(distillation) 방지 등을 제안했습니다. 이는 오픈웨이트 운동의 대세와는 상반되는 규제 지향적인 입장으로 평가됩니다.

노정석은 AI 모델이 차별재가 아닌 범용재가 되어가면서 모델 회사들이 얻을 수 있는 가치가 낮아지고 있다고 분석했습니다. 사용자들은 더 이상 비싼 비용을 지불할 필요 없이, 온프레미스 환경에서 Kimi와 같은 오픈웨이트 모델을 활용할 수 있게 되면서 시장의 가치 캡처(value capture) 능력이 약화되고 있습니다.

노정석은 AI 에이전트가 단일 업무를 완벽하게 처리할 수 있는 수준이 아님을 강조하며, 근본적인 문제는 인간이 AI 에이전트를 효과적으로 통제할 수 없다는 점이라고 설명했습니다. 이는 AI 에이전트의 도입이 가져올 생산성 향상과 함께 통제 시스템 구축의 중요성을 부각시킵니다.

기존의 에이전트 하네스가 개별 업무 단위에서의 도구 사용을 제어하는 낮은 개념에 머물러 있다면, 더 상위에서 조직 전체의 목표와 가치를 반영하고 에이전트의 행동을 조율할 수 있는 '컨트롤 플레인'의 도입이 필수적이라는 것입니다. 이는 AI 에이전트의 자율성과 조직의 통제 사이에서 균형을 찾아야 하는 새로운 과제를 제시합니다.

박종현은 이를 회사의 직원이 데이터를 유출하거나 회사 이름을 달고 부적절한 행동을 하는 것에 비유했습니다. AI 에이전트가 자율적으로 행동하며 예상치 못한 문제를 일으킬 수 있는 가능성을 내포하고 있어, 이러한 '탈출'을 막는 것이 매우 어렵다는 점이 강조되었습니다.

최승준은 Lilian Weng의 복귀를 언급하며, 단순한 건강 문제 외에 OpenAI 내부에서 RSI(Responsible Systemic Innovation)와 같은 중요한 연구가 진행될 가능성이 있다고 지적했습니다. 이는 AI 기술 개발에 있어 책임감과 윤리적 측면을 더욱 중요하게 고려하는 방향으로의 전환을 시사할 수 있습니다.

앤트로픽이 발표한 'Predictability and Surprise in Large Generative Models' 논문은 행위자들이 점점 더 큰 모델을 구축할 것이며, 부정적인 사회적 영향 가능성에도 불구하고 모델 배포에 대한 강력한 동기를 가질 것이라고 예측했습니다. 이는 AI 기술의 발전 속도와 사회적 책임 사이의 갈등을 심화시키는 문제입니다.

최승준은 테렌스 타오의 발언을 인용하며, 현재로서는 길어야 1년 이상을 신뢰할 만하게 예측할 수 있는 사람이 없다고 언급했습니다. 이는 AI 기술 발전의 가속화와 함께 사회 전반의 변화 속도가 빨라지면서 미래에 대한 예측이 더욱 어려워지고 있음을 보여줍니다.