데이터 비즈니스, 0달러에서 1천억 달러로 성장: 머신러닝의 핵심 병목으로 데이터 품질 부상

초기 산업 분위기는 데이터 비즈니스를 크게 외면했으며, 벤처 캐피털리스트를 포함한 많은 이들이 데이터의 최종 가치를 본질적으로 '0'으로 믿었습니다. 이후 데이터 부문에서 1천억 달러 이상의 시가총액이 창출된 것을 보면 이러한 관점이 근본적으로 변화했음을 알 수 있습니다. 이 기념비적인 변화는 데이터의 본질적인 가치와 상당한 경제적 영향을 유도할 잠재력에 대한 재평가를 반영합니다.

머신러닝의 학문적 훈련은 전통적으로 모델 아키텍처에 불균형적으로 많은 관심(약 95%)을 할애하고, 데이터 고려 사항에는 5%만 할애합니다. 그러나 실제 프로덕션 환경의 요구사항은 이러한 초점을 거의 완전히 역전시켜 아키텍처보다 데이터를 우선시하도록 합니다. 배포 시 모델 오류는 훈련 데이터와 프로덕션에서 발생하는 실제 데이터 간의 분포 변화로 인해 자주 발생하며, 이는 데이터 품질이 성공의 중요한 요소임을 강조합니다. 이러한 문제를 해결하려면 데이터셋 내의 오탐(false positives) 및 미탐(false negatives)을 면밀히 검토해야 합니다.

데이터셋과 강화 학습(RL) 환경은 단순한 정보 모음이 아니라 세심하게 제작된 상업용 제품으로 개념화되고 취급되어야 합니다. 고품질 데이터를 얻으려면 전문가 수준의 RL 환경과 정교한 선호도 기반 피드백 메커니즘이 결합되어야 합니다. 진정으로 포괄적이고 고품질의 데이터셋을 만드는 과정은 본질적으로 도전적이며, 깊은 도메인 전문성과 전문 소프트웨어 애플리케이션을 개발하는 것과 유사한 수준의 장인정신을 요구합니다. 단순한 데이터 'zip 파일'은 프로덕션급 AI 시스템에서 강력한 성능을 달성하기에 불충분합니다.

데이터 희소성은 현재 AI 모델이 복잡하고 전문화된 도메인에서 전문가 수준의 성능을 달성하는 것을 가로막는 결정적인 병목 현상으로 남아 있습니다. 예를 들어, S&P 500의 다음 7일 수익률을 예측하려는 모델은 종종 무작위 추측보다 더 나쁜 성능을 보이기도 합니다. 이러한 성능 미달은 모델이 회계, 법률, 의학 분야에서 인간의 능력을 뛰어넘는 데 필수적인 전문가 유래 '추적(trace)' 데이터의 근본적인 부족에서 비롯됩니다. 전문가 지식과 의사결정을 반영하는 세심하게 큐레이션된 데이터 없이는 AI 모델은 잠재력을 최대한 발휘할 수 없습니다.

데이터 기업의 미래는 모바일 애플리케이션 생태계와 유사한 '앱' 비유를 통해 이해될 수 있습니다. 스마트폰이 다양한 기능을 수행하기 위해 여러 앱을 필요로 하는 것처럼, 대규모 언어 모델(LLM)은 의학, 회계 또는 법률과 같은 전문 분야에서 탁월한 성능을 발휘하기 위해 특정 분야 데이터와 강화 학습 환경이 필요합니다. 모든 문제를 해결하려는 단일 일반 모델 대신, 특정 도메인(예: 의료 데이터)에 초점을 맞춘 전문 데이터 기업이 등장할 가능성이 높습니다. 잠재적인 데이터 기업의 수는 결국 최신 스마트폰에서 발견되는 다양한 기능적 애플리케이션의 범위와 상관 관계를 가질 수 있으며, 각 기업은 맞춤형 전문 지식을 제공할 것입니다.

핵심 가설은 AI를 위한 진정으로 효과적인 데이터셋을 구축하는 데 있어 전문성 확장이 주요 병목 현상임을 밝혀냈습니다. 과제는 '좋은' 데이터가 무엇인지에 대한 본질적인 이해를 가진 의사, 임상의, 언론인과 같은 현장 전문가의 지식을 활용하는 데 있습니다. 근본적인 문제는 이러한 전문가 지식을 구조화된 데이터셋으로 효율적으로 변환하는 것입니다. 따라서 전문가 직관의 높은 가치는 성공적인 AI 훈련 및 개발에 중요합니다.

데이터 주석 분야는 '데이터 1.0'에서 '데이터 2.0'으로 크게 발전했습니다. 데이터 1.0은 단순한 좋아요/싫어요 선호도 또는 간단한 질문-답변 분류와 같은 기본적인 수동 라벨링 작업이 특징이었습니다. 이와 대조적으로 데이터 2.0은 더 복잡한 환경, 정교한 루브릭, 그리고 종종 Docker와 같은 컨테이너화된 시스템 내에서 검증자 통합을 포함합니다. 이러한 진화는 데이터 수집 및 준비를 위한 더 복잡하고 강력한 방법으로의 전환을 의미합니다.

데이터 프로그래밍의 핵심 직관은 전문가 감독을 소프트웨어에 직접 인코딩하여 여러 가지 주요 이점을 얻는 것입니다. 이 접근 방식은 소프트웨어에 내재된 확장성을 가능하게 하고, 수동 주석을 넘어 데이터의 프로그래밍 방식 라벨링을 허용합니다. 전문가 지식을 포착하기 위한 일반화된 추상화로 라벨링 함수가 도입됩니다. 이 방법론은 또한 약한 감독을 활용하여 다양한 소스의 중복되고 노이즈가 많은 신호를 효과적으로 관리하고 통합하여 데이터 품질과 일관성을 향상시키고 감사 가능성을 제공합니다.

데이터 프로그래밍의 중요한 측면은 진정한 그라운드 트루스 정답 키를 사용할 수 없을 때에도 유권자 정확도를 비지도 방식으로 모델링하는 것입니다. 이를 설명하기 위해 사용되는 비유는 학생들이 다양한 기술 수준을 가지고 있고, 교사가 채점 키 없이 학생들의 투표만으로 정답을 추정해야 하는 교실 시나리오입니다. 이 방법은 노이즈 모델을 학습하여 이러한 다양한 입력에서 진정한 그라운드 트루스를 식별합니다. 베이즈 추론을 사용하여 본질적으로 노이즈가 많은 소스에서 확률을 계산함으로써 명시적인 정답이 없는 경우에도 정확한 추정을 가능하게 합니다.

HumanEval과 같은 기본적인 평가 벤치마크가 포화 상태임에도 불구하고 코딩 에이전트의 복잡성은 계속 증가하고 있습니다. 기술 발전의 최전선이 나아가면서 데이터 문제는 더욱 두드러지고 있습니다. 초보적인 인간 평가는 한계에 도달했지만, 정교함이 증가하는 광범위한 터미널 기반 에이전트가 여전히 존재합니다. 고급 엔지니어링 작업에 대한 적절한 평가 지표의 부재를 해결하기 위해 더 높은 수준의 능력을 평가하기 위한 Senior SWEBench라는 새로운 벤치마크가 개발 중입니다.

전통적인 벤치마크는 종종 에이전트에 대한 지침을 과도하게 명시하여, 실제 복잡성이 부족한 정밀하고 단계별 지침을 제공합니다. 이를 해결하기 위해 에이전트 상호 작용에 더 현실적이고 고수준의 추상화를 주입하려는 노력이 있습니다. Senior SWEBench와 같은 새로운 접근 방식은 로그 덤프 또는 Slack과 유사한 사용자 스토리와 같은 고수준 입력을 활용하여 실제 시나리오를 시뮬레이션합니다. 현실성을 도입하는 것이 쉽지는 않지만, 전문적인 작업을 정확하게 표현하고 에이전트가 덜 구조화된 환경에서 효과적으로 작동할 수 있도록 하는 데 중요합니다.

선임 연구원, 엔지니어 및 커뮤니티 전문가의 전문 지식을 효과적으로 포착하고 확장하기 위해 '검증 에이전트'라는 중간 솔루션이 도입되었습니다. 이 에이전트는 전문가의 '사용자 스토리'를 결정론적 테스트 스크립트로 변환하여 전문 지식을 통합하는 확장 가능한 방법을 제공합니다. 이 접근 방식은 모든 솔루션 궤적을 수동으로 채점할 필요 없이 전문가의 미묘한 직관을 포착합니다. 또한, 이러한 테스트는 엄격한 평가 기준을 유지하면서 다양한 솔루션 형태를 수용하도록 매개변수화됩니다. 복잡한 실제 작업 평가를 자동화함으로써 검증 에이전트는 전문가 지식과 확장 가능한 평가 사이의 격차를 해소하고, AI 시스템의 증가하는 복잡성을 관리하는 실용적인 방법을 제공합니다.

'데이터 2.0'으로의 전환은 데이터에 대한 더욱 체계적이고 연구 집약적인 접근 방식을 요구하며, 복잡성이 크게 증가합니다. 이 새로운 시대는 단순히 인력을 투입하는 것을 넘어, 전문가 주도의 설계와 정교한 방법론을 필요로 합니다. 환경 요인, 출력의 미묘한 차이, AI 모델의 자율성 증가 등 여러 차원에서 데이터 복잡성이 커지고 있습니다. 이러한 과제를 해결하려면 모델 감독 방식과 데이터 큐레이션 방식에 대한 심오한 변화가 필요하며, 단순한 수동 주석보다는 전문화된 지식과 고급 도구의 역할을 강조해야 합니다.

현재 'Toolbench' 벤치마크는 종종 모델이 90점대와 같은 높은 점수를 달성하는 것으로 나타나지만, 이는 오해의 소지가 있습니다. 동일한 모델이 실제 프로덕션 로그에 배포되면 성능이 크게 떨어져 훨씬 낮은 점수를 산출합니다. 이러한 불일치는 벤치마크의 근본적인 결함을 강조합니다. 즉, 벤치마크 환경은 실제 비즈니스 사양의 규모와 다양성이 부족합니다. 결과적으로 이러한 평가는 실제 복잡한 시나리오에서 모델의 진정한 능력이나 한계를 정확하게 반영하지 못합니다.

Mercury 2.5 모델은 도메인별 합성 훈련을 통해 상당한 성능 개선을 입증했습니다. 초기에는 어떤 도메인별 데이터 훈련 전에는 약 50%의 정확도를 달성했습니다. 그러나 TForge에서 합성된 초기 작업 세트로 훈련한 결과, 다른 별개의 환경 세트에서 23% 이상의 놀라운 성능 향상을 보였습니다. 다양한 비즈니스 도메인에 걸쳐 수행된 이 평가는 모델 기능을 향상시키는 데 합성 데이터를 활용하는 효과를 보여줍니다. 사용된 방법론은 과적합을 완화하기 위해 교차 도메인 검증을 사용하여 강력하고 일반화 가능한 성능 향상을 보장했습니다.

다국어 사전 훈련에 대한 연구는 서로 다른 언어와 해당 훈련 데이터셋 간의 복잡한 상호 작용, 시너지 및 간섭을 조사합니다. 이 연구는 특히 온라인 존재가 제한적인 비영어권 언어의 데이터 제약에 중점을 두어 언어 간 지식이 어떻게 전이되는지 살펴봅니다. 목표는 사전 훈련 단계에서 다양한 언어 데이터 소스가 어떻게 상호 작용하는지 이해하는 것입니다. 이 연구 결과는 언어뿐만 아니라 도메인별 데이터 분할 또는 일반적인 데이터 품질 분할 전략에도 적용될 수 있으며, 데이터 구성 및 모델 성능에 대한 근본적인 원리를 밝혀줍니다.