B2B 계약에 숨겨진 데이터 위기
기업들은 방대한 양의 비정형 계약 데이터를 관리하는 데 상당한 어려움을 겪고 있습니다. 가격표와 같은 중요한 비즈니스 정보는 다양한 비정형 형식으로 저장된 이 문서 내에서 종종 접근할 수 없는 상태로 남아 있습니다.
Hiral Shah는 "오늘 Sean과 저는 모든 기업이 직면한 엄청난 문제인 대규모 계약 데이터에 대해 이야기할 것입니다"라고 말했습니다.
DocuSign과 NVIDIA는 고급 AI를 사용하여 방대한 양의 비정형 비즈니스 계약을 쿼리 가능한 데이터로 변환하고, 이전에는 접근할 수 없었던 수조 달러의 가치를 창출하기 위해 협력합니다.
기업들은 방대한 양의 비정형 계약 데이터를 관리하는 데 상당한 어려움을 겪고 있습니다. 가격표와 같은 중요한 비즈니스 정보는 다양한 비정형 형식으로 저장된 이 문서 내에서 종종 접근할 수 없는 상태로 남아 있습니다.
Hiral Shah는 "오늘 Sean과 저는 모든 기업이 직면한 엄청난 문제인 대규모 계약 데이터에 대해 이야기할 것입니다"라고 말했습니다.
DocuSign은 190만 명의 유료 고객과 10억 명의 사용자에게 서비스를 제공하며 매일 약 100만 건의 계약을 처리하는 방대한 규모의 운영을 처리합니다. 이러한 규모에도 불구하고 Deloitte 연구에 따르면 수동 워크플로우 및 단절된 시스템으로 인해 약 2조 달러의 협상 가치가 포착되지 않은 상태로 남아 있습니다.
Hiral Shah는 "우리는 190만 명의 유료 고객과 10억 명의 사용자를 보유하고 있습니다. 이는 매일 100만 건의 계약을 처리한다는 의미이며, 이제 이를 구조화하고 읽을 수 있고 쿼리 가능하며 사용 가능하도록 만들어야 합니다"라고 강조했습니다.
이 플랫폼은 계약 생성, 협상, 재작성 및 저장을 포괄하며, 생성형 AI를 사용하여 계약을 쿼리 가능한 통찰력으로 변환합니다.
Hiral Shah는 "DocuSign이 AM이라는 지능형 계약 관리 플랫폼을 구축한 이유가 바로 이것입니다. 이 플랫폼은 전체 계약 라이프사이클을 AI 우선 방식으로 적용합니다"라고 설명했습니다.
계약은 본질적으로 계층적이며 평면적이지 않고 PDF 및 PNG와 같은 문서 내에 중첩된 종속성을 포함합니다. 기존 문서 추출 도구 및 일반 대규모 언어 모델(LLM)은 이러한 복잡한 구조, 특히 병합된 셀이 있는 테이블에서 심각하게 어려움을 겪습니다.
그들의 줄별 읽기 접근 방식은 데이터의 논리적 구조를 깨뜨려 정확한 추출을 어렵게 만듭니다. Hiral Shah는 "기존 문서 추출 도구 또는 일반 VM BLM은 여기에서 완전히 실패합니다. 아시다시피, 우리는 분명히 시도했지만, 그들은 텍스트를 줄별로 읽기 때문에 테이블 내의 많은 개념이 깨집니다"라고 언급했습니다.
이 협력은 문서 레이아웃을 깊이 이해하고 법무 및 조달과 같은 중요 팀의 운영 오버헤드를 줄여 정확성을 높이는 데 중점을 둡니다.
Hiral Shah는 "그것이 우리가 Nvidia와 협력하고 특수 제작된 모델을 활용한 이유입니다. 즉, 테이블 추출을 위한 아키텍처를 구축하여 이러한 복잡한 사용 사례를 해결합니다"라고 말했습니다.
이 프로젝트는 청사진, 데이터 세트 및 양자화, 가지치기(pruning)와 같은 최적화 기술을 제공합니다.
이는 초기 문서 검색에 이어 미세 추출을 포함하는 2단계 접근 방식을 사용하며, 페타바이트 규모의 엔터프라이즈 데이터를 효율적으로 처리하도록 설계되었습니다. Sean Sodha는 "Neimatron은 세계적 수준의 오픈 소스 모델을 구축하고 데이터 세트, 기술, 양자화 접근 방식, 증류 접근 방식, 가지치기 접근 방식, 가능한 모든 기술, 그에 따른 청사진을 게시하는 데 중점을 둡니다"라고 설명했습니다.
테이블 추출은 중첩 테이블 및 병합된 셀을 포함하여 테이블이 가질 수 있는 순열 및 구조의 방대한 수로 인해 매우 복잡한 기술입니다. 이러한 복잡성에는 테이블 데이터를 정확하게 구문 분석하고 이해하기 위해 기본 추출 기술을 넘어서는 특수 방법이 필요합니다.
Sean Sodha는 "테이블 추출은 정말 복잡한 기술입니다. 생각해보면 테이블의 순열 수가 상당히 방대합니다"라고 강조했습니다.
NVIDIA는 문서 작업을 위해 특별히 설계된 8억 5천만~9억 개의 파라미터를 가진 비전 언어 모델(VLM)인 NeMo Parse를 소개했습니다. 일반적인 수십억 개의 파라미터를 가진 VLM과 달리 NeMo Parse는 더 작고 효율적인 올인원 추출기입니다.
이는 더 큰 VLM과 관련된 무거운 오버헤드를 피하면서도 문서에서 의미론적 레이아웃, 추출된 텍스트 및 올바른 읽기 순서를 효과적으로 출력합니다. Sean Sodha는 "VLM을 생각할 때 일반적으로 수십억 개의 파라미터를 가진 모델을 생각합니다… 이것은 매우 작고 미세한 C 라디오 VLM입니다. 약 8억 5천만~9억 개의 파라미터를 가진 모델입니다"라고 설명했습니다.
모델은 RD Table Bench와 같은 표준에 대해 벤치마킹되며, NVIDIA는 이러한 모델과 가중치를 오픈 소스로 공개할 것을 약속합니다.
Sean Sodha는 "정확성과 성능의 파로 곡선 모두에서 우리가 세계적 수준의 모델을 생태계에 출시할 것임을 확인하고 싶습니다"라고 말했습니다.
시연에서는 Agreement Manager가 주문서를 처리하고 AI를 사용하여 메타데이터를 즉시 업로드하고 구조화하는 모습을 보여주었습니다. 사용자는 계약의 특정 섹션(예: 주요 조건 및 상업적 세부 사항)으로 직접 이동할 수 있으며, 이 섹션은 자동으로 추출 및 정리됩니다.
이 구조화된 데이터는 다운로드할 수 있어 재무 및 조달 팀에 깨끗하고 실행 가능한 정보를 제공하여 운영을 간소화합니다. Hiral Shah는 이 과정을 "제가 계약을 선택하는 순간, AI로 업로드 및 처리를 시작합니다... Agreement Manager는 풍부한 메타데이터 세트를 추출했습니다. 주요 조건에서 상업적 세부 사항에 이르기까지 모든 것이 자동으로 구조화됩니다"라고 설명했습니다.
이 시스템은 수천, 심지어 수백만 건의 계약을 처리할 수 있도록 확장되어 특정 사업부 또는 리더가 목표 정보를 쿼리할 수 있도록 합니다.
독점 데이터 모델은 포괄적인 조직 감독을 제공하여 이전에 접근할 수 없었던 데이터를 실행 가능한 정보로 변환합니다. Hiral Shah는 "가장 중요한 부분은 법무 담당자, 조달 담당자, 영업 담당자와 같은 최종 비즈니스 사용자에게 매우 가치 있는 데이터를 이해하고 얻는 방법입니다"라고 강조했습니다.
DocuSign-NVIDIA 파트너십의 핵심 교훈은 문서 추출과 같은 특정 작업에 일반 모델보다 특수 제작된 모델을 사용하는 것의 중요성입니다. 더 적은 수의 파라미터로 특징지어지는 모델 효율성은 더 빠른 성능과 더 빠른 시장 배포에 크게 기여합니다.
맞춤형 AI 솔루션에 대한 이러한 전략적 초점은 고급 기능의 가속화된 개발 및 통합을 가능하게 했습니다. Hiral Shah는 "수행하려는 작업에 대한 특수 제작된 모델은 우리가 생각해 온 큰 부분이며, 이를 통해 시장 출시를 훨씬 빠르게 가속화할 수 있었습니다"라고 강조했습니다.
자막에서 근거가 되는 대목을 찾아 답합니다.
AI Engineer의 다음 영상도 받아볼까요?
AI Engineer에 새 영상이 올라오면, 방금 읽으신 것처럼 정리해서 메일로 보내 드릴게요.
이 채널은 지난 7일 동안 34편 올렸어요.
숏츠는 빼고 보내 드려요. 메일이 필요 없어지면 언제든 구독을 끄실 수 있어요.