30억 파라미터 AI, 단일 GPU로 SOTA

인도 내에서 엔드 투 엔드로 개발된 이 30억 파라미터(3B) 모델은 영어와 22개 공식 언어를 지원하며, 100배 큰 모델을 능가하는 문서 AI 성능을 크리슈나 프라사드 스리니바산은 강조했다.

이 소형 모델은 300억 및 1,000억 파라미터 규모의 100배 더 큰 모델들을 능가하며, 인도 내에서 엔드 투 엔드 개발 및 구축 과정을 거쳐 영어와 인도 22개 공식 언어에 대응한다.

인도 언어 문서 지능 기술은 데이터 부족보다는 데이터가 디지털화된 경험이 없다는 점이 주된 난제로 작용한다.

실제로 커먼 크롤(Common Crawl) 내 인도어 비중은 1% 미만에 불과하며, 복잡한 유니코드 체계와 언어별 데이터 희소성 문제로 단순 텍스트 추출을 넘어선 복잡한 지식 추출이 필요하다.

트랜스포머가 시퀀스 길이의 제곱(L^2)에 비례하는 연산량과 메모리를 사용하는 것과 달리, 사르밤 비전은 토큰별 상태 업데이트를 통해 연산량을 선형으로 유지하며 5천~1만 토큰 규모의 긴 문서를 저비용으로 추론한다.

트랜스포머가 시퀀스 길이의 제곱에 비례하는 연산량과 메모리를 사용하는 반면, SSM은 토큰별 상태 업데이트를 통해 연산량이 선형적으로 증가하며 메모리 사용이 일정하게 유지된다. 이를 통해 페이지당 5천에서 1만 토큰을 처리하는 긴 문서 추론 비용을 효과적으로 절감할 수 있다.

강력한 언어 사전 지식을 바탕으로 이미지 속 모호한 텍스트를 판독하도록 모델을 설계했다. 13조 토큰 규모의 텍스트 사전 학습으로 백본을 구축하고, 3억 개의 이미지-텍스트 쌍과 1억 개의 OCR 샘플을 순차 학습한 뒤 강화 학습을 거쳐 완성도를 높였다고 강조했다.

1단계에서는 13조 토큰 규모의 텍스트 전용 사전 학습으로 언어 백본을 구축하여 이미지 속 흐릿한 텍스트도 판독할 수 있게 했으며, 2단계에서는 3억 개의 이미지-텍스트 쌍을 통해 시각적 인식 능력을 학습했다.

이어 3단계에서는 1억 개의 OCR 샘플로 지도 미세 조정을 수행했고, 4단계에서는 강화 학습(RL)을 통해 성능 한계를 돌파하고 정확도를 향상했다.

사르밤 비전은 데이터 부족 문제를 해결하기 위해 합성 데이터와 실제 문서 데이터를 생성하는 데이터 엔진 파이프라인을 구축했다.

평가 성능에 기반하여 데이터를 지속적으로 개선하는 피드백 루프를 운영하며, 사용자 효용을 극대화하기 위한 광범위한 평가 세트를 통해 모델의 최첨단 성능을 확보했다.

사르밤 비전은 그룹 샘플링과 단위 테스트로 보상을 산출하고 이를 반복 학습하는 RLVR 기법을 도입해 결정론적 환경에서의 성능을 극대화했다고 밝혔다.

그룹 샘플링과 단위 테스트를 통해 보상을 산출하고 평균값을 강화하는 방식으로 학습을 반복함으로써 확장성 높은 OCR 전문 RLVR 기법을 구축했다.

사르밤 비전은 두 개의 글로벌 영어 벤치마크인 ULMO CR과 OmniDoc에서 각각 84.3점과 93.2점을 기록하며 최첨단 성능을 입증했다.

특히 인도 22개 언어 처리에서는 제미나이(Gemini), 챗GPT(ChatGPT), 오퍼스(Opus) 등 모든 프론티어 모델과 비교해도 압도적인 우위를 점하며 문서 인텔리전스 생태계 구축에 기여한다.

Sarvam Vision은 보험·금융·정부 등 대규모 기관의 3,500만 페이지를 디지털화하며 신뢰도 점수와 블록 단위 근거를 제시한다. 인간이 개입하는 에이전트 기반의 '악샤르' 워크벤치를 통해 데이터 추출과 각종 문서 인텔리전스 문제를 해결한다고 밝혔다.

이 플랫폼은 신뢰도 점수와 블록 단위 근거 제시 기능을 제공하며, 보험, 금융, 정부 등 대규모 기관을 대상으로 3,500만 페이지의 디지털화를 성공적으로 수행했다.

사르밤 비전은 SFT(지도 미세 조정)와 RL(강화 학습)을 포함한 일반적인 사후 학습을 위해 인공 문서, 즉 합성 문서를 생성한다.

모델의 SOTA 달성 여부는 데이터 품질에 크게 좌우되므로, 문자 비율, 표 구조, 수학 방정식 등 구체적인 보상 체계를 설정하여 복잡한 실제 문서 기반의 반복적 모델 개선 전략을 사용한다.

14억 인구의 서류 작업을 처리해야 하는 인도 정부는 데이터 이동을 직접 제어하고 인도어 문서를 정교하게 처리할 수 있는 자체 AI 인프라 구축을 강조했다.

크리슈나 프라사드 스리니바산은 다른 곳에 배포된 모델을 사용할 경우 데이터 이동을 통제할 수 없으므로, 데이터가 어디로 전송되는지 직접 제어할 수 있어야 한다고 역설했다.

사르밤 비전의 학습 데이터는 인도어 40%와 영어, 수학, 코드가 포함된 나머지 부분으로 구성되어 인도의 특수성에 맞춰져 있다.