폐쇄형 연구소와 오픈 모델의 경쟁: 컴퓨팅, 데이터, 인재의 격차

네이선 램버트 연구원은 모델의 발전이 궁극적으로 컴퓨팅, 데이터, 인재와 같은 다양한 형태의 자본을 얼마나 잘 조직하고 투입하느냐에 달려 있다고 설명했다.

현재 OpenAI, Anthropic, Google과 같은 폐쇄형 선두 연구소들이 이러한 자본을 가장 많이 보유하고 있으며, 이 자원들을 효과적으로 활용하는 능력에서 큰 격차를 보이고 있다.

메타(Meta)와 같은 기업은 조직 전체를 재정비한 후 다시 긍정적인 궤도에 올랐다고 언급될 만큼, 조직 구조가 모델 개발에 중요한 역할을 한다고 분석했다.

중국의 오픈 소스 연구소들이 공개 모델을 내놓는 것은 자선이 아닌, 시장 진입과 노출을 위한 실용적인 상업 전략으로 해석된다.

선두 모델과의 기술 격차가 2~3개월로 좁혀지면서 '증류(distillation)' 기법이 효과적인 수단으로 자리 잡았다.

이러한 격차 감소는 폐쇄형 연구소들이 API를 닫고 최고 모델을 자체 서비스로 전환하려는 유인을 키우고 있다.

중국 연구소들은 기술적으로 매우 뛰어나며 인재 풀 또한 선두 그룹과 유사한 수준이라고 평가받는다.

그러나 가장 큰 격차는 컴퓨팅 자원에 있다. 한 미국 연구원이 수천 개의 H100 GPU에 접근할 수 있다는 이야기에 중국 연구자들이 놀라워할 정도다.

증류는 이러한 컴퓨팅 자원의 격차를 돈으로 메우는 우회적인 수단으로 활용되고 있다.

샤오미(Xiaomi)와 같은 중국 기업들의 사례에서 증류 기법이 모델 개발의 어느 단계에 적용되었는지 확인하기 어렵다는 의문이 제기되었다.

중국 모델들이 대규모 강화 학습(RL)을 활용하는 기술적 정교성에 대해서도 의구심이 있으며, 이는 공개 보고서와 실제 기술 구현 사이에 괴리가 있을 수 있음을 시사한다.

API를 통해 모델의 추론 과정을 추출하는 것은 기술적으로 막기 어려운 현상으로 지적된다. 중국 기업들은 이 분야에서 매우 앞서 나가고 있다.

모델 기업들이 서비스 접근성을 제한하거나 규제를 강화하는 것은 비즈니스와 전체 생태계에 부정적인 영향을 미칠 수 있다.

따라서 모델 기업들이 자체 제품 보안을 강화하는 것이 현실적인 대안이며, 서비스 약관 위반에 정부가 개입하는 것은 적절치 않다는 견해를 보였다.

엔비디아의 젠슨 황 CEO의 발언을 인용하며, 모델 추출을 자연스러운 경쟁 현상으로 해석했다.

모델 추출을 규제하려는 시도는 AI 산업에 더 큰 피해를 줄 위험이 있으며, 이는 AI 안전성 커뮤니티의 목소리와도 상충될 수 있다고 지적했다.

오픈 소스 생태계는 모델 추출을 통해 상당한 혜택을 얻고 있으며, 이러한 활동이 혁신을 저해하기보다 촉진한다는 시각을 제시했다.

폐쇄형 모델은 통합된 자원과 고가치 시장 접근성을 통해 빠른 수익화와 효율적인 확장이 가능하다. 이미 프로그래밍 분야에서 이러한 성공 사례가 나타나고 있다.

반면, 오픈형 모델은 정보 흐름 단절과 데이터 피드백 부족으로 인해 경제적 경쟁력을 확보하는 데 훨씬 긴 시간이 소요된다. 오픈 모델 생태계는 개발자, 추론 서비스 제공자, 학습 서비스 제공자가 분리되어 있어 효율적인 정보 교환이 어렵기 때문이다.

그러나 오픈형 모델은 데이터 개인 정보 보호 요구를 충족하며, 결국 자체 모델 가중치 보유라는 경쟁 우위를 통해 시장에서 중요한 위치를 차지할 수 있을 것이라는 가능성을 제시했다.

수학 분야에서 보듯, 범용 모델이 특정 전문 모델보다 뛰어난 성능을 보이는 현상이 확인되고 있다. 이는 특정 분야 전문 데이터셋 학습 없이도 모델의 크기 확장과 범용적인 추론 능력 향상이 전체 성능을 견인하기 때문으로 풀이된다.

Anthropic이나 OpenAI도 수학과 같은 특정 분야를 직접적으로 타겟팅한 전문 데이터 학습을 의도적으로 수행하지 않는 것으로 보인다고 설명했다. 이는 대규모 범용 모델이 특정 분야에서도 충분히 좋은 성능을 발휘하며, 궁극적으로 선두 모델을 따라잡기 어려운 이유 중 하나가 된다.

OpenAI의 급격한 가격 인하 기조가 지속된다면 4년 내 AI 추론 비용이 현재의 1% 수준까지 하락할 수 있다고 분석했다.

이러한 비용 하락이 제본스 역설(Jevons paradox, 자원 사용의 효율성이 높아지면 오히려 소비량이 증가하는 현상)을 유발하여 이익 마진을 증가시킬지, 아니면 시장 포화로 인해 전체 수익이 감소할지는 아직 불확실하다고 전망했다.

기업들이 대규모 데이터를 구매하는 이유는 이러한 데이터가 모델 성능 향상에 직접적인 영향을 미친다는 확실한 신호가 있기 때문이라고 설명했다.

인간이 직접 데이터를 구축하는 방식보다는 언어 모델을 활용한 합성 데이터 생성 방식이 가속화되고 있으며, 모든 기업이 이러한 합성 데이터의 혼합을 판매하고 있다고 언급했다.

데이터 산업은 여전히 초기 단계에 있으며, 데이터 품질 제고와 운영 보안 강화 측면에서 발전할 여지가 매우 크다고 평가했다.

AI 산업, 특히 스타트업 창업 시 5개월 내에 억 단위 수익을 노리는 단기 성과주의가 만연해 있다고 지적했다.

장기적으로 AI 기술 산업이 지속 가능하려면 더 많은 인재가 연구와 교육 분야로 유입되어야 하며, 오픈 소스 인프라를 통해 모델의 투명성과 검증 가능성을 높여야 한다고 강조했다.

과거 AI 연구 분야에서는 수개월간 직접 코딩하며 깊이 있는 지식을 습득하는 과정이 필수적이었으나, 최근에는 AI 에이전트와 자동화 도구들이 연구 과정을 돕는 경향이 짙어졌다.

하지만 이러한 자동화 도구들이 사람들의 비판적 사고를 분산시키고, 문제의 본질을 파고드는 깊이 있는 탐구를 저해할 수 있다고 우려했다.

연구자들에게 필요한 것은 스스로 생각하고 문제의 핵심을 파고드는 깊이 있는 태도이며, 이러한 깊이 있는 탐구가 AI 분야에 진입하는 핵심이라고 강조했다.

AI 안전성 분야에서 일하는 많은 연구자들이 자신의 업무가 1년 안에 자동화될 것으로 예상하고 있다.

이러한 자동화는 내부 의사결정 구조를 들여다볼 인력이 줄어들 위험을 내포하며, 정책 입안자들이 AI의 오류와 한계를 이해하기 위해 투명한 데이터 공유가 필수적이라고 주장했다.

최상급 초기 모델을 얻기 위해 반드시 100억 달러와 같은 막대한 비용을 지출할 필요는 없다고 주장했다.

메가트론(Megatron)과 같은 오픈소스 도구들이 초기 학습의 강력한 기반을 제공하며, 많은 연구소들이 이러한 오픈소스 코드를 활용하여 경쟁력 있는 초기 모델을 구축하고 있다고 언급했다.

다만, 많은 연구소들이 오픈소스 코드를 가져가 사유화하고 원 프로젝트에 기여하지 않는 문제가 있다고 지적했다. 그럼에도 불구하고, 경쟁력 있는 첫 모델을 출시하는 것이 후속 투자를 유치하는 핵심 전략으로 작용한다고 강조했다.

초기 학습(pre-training) 방법론은 긴 컨텍스트 생성과 같은 기술적 요구에 발맞춰 계속해서 수정되고 있다.

희소 주의(Sparse Attention) 구조 개선과 같은 연구를 통해 추론 속도가 40% 향상되는 등 학습 효율성이 지속적으로 증대되고 있다.

이는 학습과 추론의 전체 스택이 함께 발전하며 투자 수익(ROI)을 창출하고 있음을 의미한다.

초기에는 폐쇄형 연구소들이 압도적인 컴퓨팅 파워를 가졌으나, 하드웨어 기술 발전 주기에 따라 오픈 모델 진영도 결국 해당 능력을 따라잡게 될 것이라고 전망했다.

컴퓨팅 파워는 천문학적인 비용이 들지만, 엔비디아(NVIDIA) 칩 성능 향상과 같은 기술 발전으로 이러한 병목 현상은 완화될 것이라고 보았다.

실리콘 밸리에서 아이디어가 쉽게 공유되듯이, 폐쇄형 연구소의 기술적 돌파구도 결국 오픈 모델 진영에 흡수될 가능성이 높다는 시각을 제시했다.