독파모 사업 벤치마크 1위 Motif 탈락, 평가 기준 논란 불거져

정부의 독자 파운데이션 모델(독파모) 사업에서 4개 참여 모델 중 3개 사가 본선에 진출했습니다. 이 과정에서 벤치마크 1위를 차지했던 Motif가 최종적으로 본선 진출에 실패했습니다. 나머지 3개 사가 다음 단계로 올라가며 사업은 계속될 예정입니다.

벤치마크 점수가 높더라도 실제 서비스 환경에서 사용자들이 체감하는 성능은 기대에 미치지 못하는 경우가 빈번하다는 지적이 제기되었습니다. 높은 벤치마크 점수에도 불구하고, 실제 사용 시에는 불편함을 느끼는 모델이 적지 않다는 것입니다.

SK텔레콤은 7월부터 정부 GPU 지원 범위에 다시 포함될 예정입니다. 그 이전까지는 정부 지원 없이 자체 비용을 들여 이번 AI 모델을 학습시킨 것으로 알려졌습니다. 이는 SK텔레콤의 기술 개발 투입 역량을 보여주는 대목입니다.

Motif 팀은 약 30명 내외의 비교적 소규모 인력으로 파운데이션 모델을 구축했습니다. 이는 대규모 자본 투입이나 인력 규모가 반드시 고성능 모델 개발로 이어지는 것은 아니라는 점을 시사하며, 스타트업의 효율적인 역량을 엿볼 수 있는 부분입니다.

평가 지표에 따라 1위 모델이 달랐다는 점이 지적되었습니다. 글로벌 Artificial Analysis 벤치마크에서는 Motif가 1위를 차지했지만, 정부가 비공개로 진행한 자체 벤치마크에서는 SK텔레콤 모델이 1위였다고 전해졌습니다. 이러한 차이는 벤치마크의 목적과 평가 항목에 따른 결과의 다양성을 보여줍니다.

이처럼 다른 벤치마크 결과는 모델의 다양한 측면을 평가할 필요성을 제기합니다. 글로벌 벤치마크는 일반적인 성능을, 정부 자체 벤치마크는 특정 정책적 목표에 부합하는 성능을 측정했을 가능성이 있습니다. 결국 어떤 기준으로 보느냐에 따라 우열이 갈리는 상황이 발생한 것입니다.

독파모 사업의 주요 목적은 단순히 우수한 모델을 선정하는 것을 넘어, 한국의 프론티어 모델 생태계를 함께 육성하는 것에 있었습니다. 평가 기준에는 모델 자체의 성능뿐만 아니라 컨소시엄 구성 및 협력 구조가 매우 중요한 요소로 작용했습니다. 이는 공정성을 담보하기 위해 사전에 정해진 평가 루브릭을 활용했음을 의미합니다.

정부는 모델 개발 역량과 더불어 국내 산업에 미치는 파급 효과, 기술 공유 및 확산 가능성 등을 종합적으로 고려했습니다. 즉, 특정 기업의 기술적 우위보다는 전체 생태계의 성장과 발전을 위한 시너지를 중시한 것입니다.

따라서 컨소시엄을 통해 다양한 플레이어들이 협력하여 전체 생태계를 강화하는 방안이 주요 평가 지표가 된 것으로 해석됩니다. 이러한 접근 방식은 장기적인 관점에서 국내 AI 역량을 강화하려는 정부의 의지를 반영합니다.

결과적으로, 이번 선정 과정은 기술적 성능 외에 정책적 목표 달성을 위한 전략적 요소들이 복합적으로 반영된 평가였다는 점이 강조됩니다.

벤치마크 점수가 지속적으로 갱신되고 새로운 평가 기준이 등장하더라도, 높은 벤치마크 점수가 실제 모델의 지능과 어느 정도 일맥상통한다는 인식이 확산되고 있습니다. 예를 들어, Motif는 모델 자체의 지능에서 높은 평가를 받았지만, Solar는 서빙 최적화 측면에서 강점을 보였습니다.

이러한 차이는 추론 성능과 실제 업무 수행 능력 간의 분리 가능성을 시사합니다. 즉, 높은 지능적 역량을 가진 모델이 반드시 모든 상황에서 최적의 서비스 성능을 보장하는 것은 아니라는 점입니다.

결국 벤치마크는 모델의 특정 지능적 측면을 측정하는 도구이며, 실제 서비스 환경에서의 총체적인 성능은 더 복합적인 요소들에 의해 결정된다는 점을 재인식해야 합니다.

정부 주도 AI 사업인 독파모에 대한 인식이 과거와 비교해 크게 변화했습니다. 처음 사업을 들었을 때는 세금 투입과 정부 주도 방식에 부정적이었으며, 성공 가능성이 낮다고 판단했습니다. 이는 과거 국내외 정부 주도 프로젝트들의 실패 사례에 대한 우려 때문이었습니다.

하지만 최근 중국 등에서 좋은 모델들이 나오는 것을 목격하면서, 정부 주도 방식이 기술적 자립 가능성을 열어줄 수 있다는 쪽으로 생각이 바뀌었습니다. 중국 사례는 대규모 투입과 집중이 의미 있는 결과로 이어질 수 있음을 보여주었습니다.

현재는 모델 개발 자체보다는 그 모델을 활용한 생태계 조성과 서비스화가 더 중요하다는 인식이 확산되고 있습니다. 즉, 모델 개발이 절대적인 해자(垓子)가 아니며, 이를 통해 어떤 가치를 창출하는지가 핵심이라는 것입니다.

이러한 인식 변화는 정부 주도 AI 사업이 단순한 기술 개발을 넘어 산업 전반에 미치는 파급 효과와 생태계 조성이라는 큰 틀에서 평가되어야 한다는 점을 시사합니다.

현대 AI 기술의 발전 속도를 고려할 때, 독파모와 같은 사업에서 나오는 모델들은 한정된 경쟁 기간 동안만이 아니라 한두 달 단위로 빠르게 출시될 수 있어야 한다는 의견이 제시되었습니다. 이는 지속적인 자원 투입과 모델 업데이트를 통해 경쟁력을 유지하는 것이 중요함을 강조합니다.

빠른 출시 주기는 AI 시장의 변화 속도에 맞춰 끊임없이 개선되고 진화하는 모델을 제공해야 한다는 필요성에서 비롯됩니다. 이를 통해 기술적 우위를 확보하고 사용자들의 기대를 충족시킬 수 있습니다.

결국, AI 모델의 개발은 단발적인 프로젝트가 아니라 지속적인 학습과 개선이 동반되어야 하는 과정이라는 인식이 확산되고 있습니다.

지속적 학습(continual learning)을 위한 Sutton의 'Alberta Plan' 방법론이 소개되었습니다. 이 방법론의 핵심은 AI 에이전트가 학습 과정에서 이전에 배운 가치를 잊지 않고 보존하며, 동시에 새로운 정보를 계속 갱신할 수 있도록 학습률(step size)을 파라미터별로 차등화하는 것입니다. 즉, 중요한 정보는 학습률을 거의 0에 가깝게 설정하여 보존하고, 새롭게 학습해야 하는 부분은 학습률을 높게 유지하여 유연하게 반영하는 방식입니다.

이러한 접근은 뇌의 가소성(plasticity)을 모방하여, 지속적인 역전파(continual backpropagation)를 통해 모델이 새로운 지식을 습득하면서도 기존 지식을 잃지 않도록 돕습니다. 이는 AI 모델이 장기간에 걸쳐 점진적으로 지능을 향상시키고 변화하는 환경에 적응할 수 있는 기반을 제공합니다.

결과적으로, Alberta Plan은 에이전트가 효율적으로 학습하고 발전할 수 있도록 돕는 중요한 방법론으로 평가됩니다.

정보를 소비하는 방식에 대해 '요약하지 말고 원문을 다 읽되, 늘려 읽자'는 관점이 제시되었습니다. 이는 단순히 정보를 축약하는 것을 넘어, 원문의 전체적인 맥락과 세부 사항을 파악하는 데 중점을 둡니다.

구체적으로는 transcript를 읽고 이를 바탕으로 HTML 다이어그램을 생성하며, SVG 시각화 루프를 반복하여 가독성을 높이는 방식이 언급되었습니다. 이를 통해 줌(zoom) 가능한 인터페이스로 정보를 탐색하면서 심층적인 이해를 돕는다는 설명입니다.

현재 AI 모델들은 측정 가능한 지표를 조금씩 줄여나가며 최적화하는 '힐 클라이밍(hill climbing)' 방식에 매우 능숙합니다. 이러한 접근 방식은 명확한 수치 목표가 있을 때 효율적으로 작동합니다.

그러나 이러한 부분 최적화 과정은 필연적으로 '로컬 미니멈(local minimum)'에 빠지는 한계를 가지고 있습니다. 즉, 모델이 전체적인 조망 없이 특정 지표에만 집중하다 보면, 더 나은 전역 최적점에 도달하지 못하고 지역적인 최적점에 머무르게 되는 것입니다. 이는 모델 스스로가 전체적인 상황을 판단하고 더 넓은 시야를 가질 필요성을 제기합니다.

파라메트릭 폰트 실험에서는 초성, 중성, 종성의 구획을 당겨보는 방식으로 상호 의존적인 공간을 수치화하여 학습을 시도했습니다. Noto KR 폰트 공간과 비교 학습을 진행하며 자동 미분과 유사한 모델링을 시도했지만, 아직 실제 사용 가능한 수준의 결과는 얻기 어렵다는 한계가 확인되었습니다.

현재 진행 중인 실험은 구색을 맞추는 정도의 결과는 얻을 수 있지만, 미묘한 디자인적 감각이 필요한 실제 사용 가능한 폰트를 제작하는 것과는 다른 차원의 문제라는 지적입니다. 이는 AI가 아직 비정형적이고 예술적인 영역에서 인간의 판단력을 완전히 대체하기 어렵다는 점을 보여줍니다.

모델이 디자인적 감각, 즉 판단(취향)을 스스로 갖추는 과정이 핵심 과제로 제시되었습니다. 현재 모델들은 특정 규모에서는 빠르게 반복(hill climbing)할 수 있지만, 판단 과정 자체가 루프 안에 들어가는 것은 아직 어려운 영역으로 인식됩니다.

현 단계의 모델로는 비검증적(non-verifiable) 영역, 즉 정량화하거나 명확한 기준을 제시하기 어려운 디자인이나 예술적 감각과 같은 영역에서 판단력을 갖추기 어렵다는 것이 주요 문제입니다. 이러한 영역에서는 단순히 지표를 최적화하는 방식만으로는 한계가 명확합니다.

궁극적인 목표는 모델이 추상화 자체를 스스로 수행하여, 인간의 개입 없이도 창의적이고 심미적인 판단을 내릴 수 있게 하는 것입니다. 이는 AI가 단순한 도구를 넘어 창작 주체로 발전하기 위한 중요한 단계로 볼 수 있습니다.

AI 시스템을 구축하는 과정에서 엔지니어링 문제를 넘어선 철학과 경영의 문제가 중요하다는 점이 강조되었습니다. 특히, 목적과 평가 지표(Evaluation metric)를 설정하는 것이 자동화의 핵심이며, 이를 통해 에이전트가 스스로 진화할 수 있도록 평가 루프를 구조화해야 한다는 주장입니다.

단순한 반복 학습을 넘어, 에이전트가 자율적으로 의사결정을 내리고 학습할 수 있도록 '제약(constraint)'과 '품질 관리(Control plane)'가 동반되어야 합니다. 이는 시스템이 의도치 않은 방향으로 오작동하는 것을 방지하고, 원하는 수준의 결과물을 지속적으로 생성하게 하는 데 필수적입니다.

결국, 시스템 설계는 단순한 기술 구현을 넘어, AI가 달성해야 할 가치와 목표를 명확히 정의하고 이를 평가하고 개선하는 메커니즘을 포함해야 합니다. 이러한 철학적, 경영적 접근이 장기적으로 지속 가능한 AI 루프를 가능하게 할 것입니다.

이러한 설계가 이루어진다면, AI 시스템은 단순한 도구를 넘어 스스로 학습하고 발전하는 자율적인 존재로 기능할 수 있게 됩니다.

에이전트 워크플로우 운영 과정에서 에이전트에게 반복적인 평가, 즉 '뺑뺑이(Feedback Loop)'를 돌리는 것이 예상치 못한 부산물들을 만들어내어 가치를 창출한다는 새로운 발견이 제시되었습니다. 인간이 한 번 보고 끝낼 수 있는 작업을 에이전트에게 반복적으로 수행하게 함으로써, 그 과정에서 인간이 미처 발견하지 못했던 새로운 해법이나 인사이트를 도출할 수 있다는 것입니다.

이때 'Control plane'을 활용하여 결과물을 강제하고 품질을 확보하는 것이 중요합니다. 이러한 통제된 반복 과정 속에서 예기치 않게 생성되는 부산물들의 네트워크가 실제 의사결정의 중요도(weight)를 변화시키고, 최종 결과에 긍정적인 영향을 미칠 수 있습니다.