적시 온톨로지가 데이터 전략을 재편하다

Hrishi Olickel은 컴퓨팅과 스토리지가 본질적으로 느리고 비싸다는 시대에 뒤떨어진 전제를 바탕으로 업계가 10년 동안 분산 아키텍처를 추구했는지 의문을 제기합니다.

전통적인 데이터 변환은 역사적으로 비용이 많이 드는 작업으로 간주되었는데, 이는 이제 저렴하고 접근 가능한 인텔리전스의 가용성으로 인해 도전을 받고 있는 관점입니다.

새로운 모델을 통합하고 적시(JIT) 변환을 활용하여 전체 작업이 10일 이내에 800달러 미만으로 완료되어 새로운 접근 방식의 효율성을 입증했습니다.

발표자는 온톨로지의 실패가 단순히 조직적 합의를 넘어선다고 주장하며, 모든 기업의 요구를 보편적으로 충족할 수 있는 단일 '슈퍼 스키마'를 추구하는 근본적인 결함에 뿌리를 두고 있다고 말합니다.

청구, 지원 또는 규정 준수 목적과 같이 질문되는 특정 질문에 따라 그 정의가 본질적으로 연결되어 있기 때문에 고객에 대한 보편적인 개념은 없습니다.

효과적인 데이터 관리는 소스, 스토리지 제약, 내려지는 결정, 그리고 이전의 가정이나 모델이라는 네 가지 고유한 스키마를 충족해야 합니다.

JIT 온톨로지는 모든 스키마 요구 사항을 미리 정의하려고 시도하는 대신, 특정 결정 공간이 알려질 때만 데이터 병합 및 변환을 수행하는 것을 포함합니다.

이 접근 방식은 기록된 컨텍스트를 특정 결정에 필요한 컨텍스트와 병합하는 데 필요한 통찰력을 용이하게 하여 정보가 필요할 때 정확하게 유용하게 만듭니다.

이 체제에는 단일 사용 데이터 마이닝을 위한 '한 번 쓰고 한 번 실행', 대규모 마이그레이션을 위한 '여러 번 쓰고 한 번 실행', 반복 가능하고 핵심적인 데이터 파이프라인을 위한 '여러 번 쓰고 여러 번 실행'이 포함됩니다.

현대 시스템은 문제가 주어지면 모델을 선택하고 파일럿을 수행하며 독립적으로 확장하는 등 자체 최적화 기능을 가지고 있습니다.

이러한 시스템은 주로 정의된 문제, 안전한 실패 경로, 그리고 효과적인 솔루션을 자율적으로 발견할 지정된 작업 공간을 필요로 합니다.

과거 데이터 실패 사례로는 불충분한 표본 크기(예: 50명의 사용자만 사용)로 AB 테스트를 수행하여 신뢰할 수 없는 결과가 나온 것이 있습니다.

현대적 위험은 통계적으로 유효하지 않은 숫자가 사실로 제시되어 잘못된 결과를 주장하게 되는 '운영 악몽'을 초래할 수 있는, 일관되게 빠른 답변을 제공하는 대화형 AI 에이전트와 관련됩니다.

Olickel은 파이프라인 설계 외에도 지능이 특정 작업을 실행하는 엔진이자 반복적인 개선을 통해 자체 최적화하는 모델의 촉매 역할을 한다고 지적합니다.

첫 번째 역할은 문제 분해, 사양, 비용 승인을 포함하는 파이프라인 구축 및 설계로, 깊이 있는 사고가 가능한 '느리고 무거운' 모델을 필요로 합니다.

두 번째 역할은 PDF 읽기 또는 데이터베이스 상호 작용과 같은 파이프라인 내에서 작업을 실행하는 데 중점을 두며 '빠르고 전문화된' 모델을 필요로 합니다. 세 번째 범주에는 프로세스를 시작한 다음 자체 최적화하는 '힐 클라이머' 또는 '서퍼' 모델이 포함됩니다.

Southbridge AI는 솔루션을 확장하기 전에 오하이오 선거 자금 데이터의 개체 해결을 위한 작은 개발 세트에 세 가지 설계 아키텍처를 테스트했습니다.

저렴한 추론 모델은 고급 모델과 비슷한 성능을 보였지만, 비용은 2%에 불과하여 상당한 효율성을 입증했습니다.

가구 정의 논리를 정교화함으로써 성능이 0에서 13개의 성공적인 '예' 결과로 극적으로 향상되었고, 시스템은 궁극적으로 증거 및 감사 추적에 대한 명시적 레이블이 있는 23,317건의 사례를 처리했습니다.

10일 동안 4,000개의 작업과 60억 개의 토큰을 실행한 자율 에이전트가 주 전체 감사 비용을 사전 설정된 800달러 한도보다 훨씬 낮은 7.95달러로 대폭 삭감했습니다.

이러한 성과는 자율 에이전트(4A)가 10일 동안 실행되어 12개 이상의 아키텍처를 테스트하고 4,000개 이상의 작업을 수행하며 약 60억 개의 토큰을 처리함으로써 유사한 향후 주 프로젝트에 대한 예상 비용을 10,000달러에서 거의 0으로 절감하는 결과를 가져왔습니다.

더 큰 모델은 특정 데이터 스키마 가정에서 역설적으로 덜 효과적일 수 있으며, 종종 데이터 형식에 대한 내재된 '선험적 지식' 또는 신념을 더욱 강력하게 고수합니다.

예를 들어, 한 모델은 명명 규칙의 불일치로 인해 15,658건의 현물 기부를 잘못 분류했고, 다른 모델은 대출 금액에서 마이너스 부호를 제거하여 784,000달러의 순 부채를 530만 달러의 부채로 잘못 변환했는데, 이 오류는 여러 모델에 의해 검증되었습니다.

이러한 검증되고 신뢰도 높은 오류는 현대 데이터 작업에서 가장 중요한 문제 유형으로 부상하고 있으며, 모델 가정의 어려움을 강조합니다.

다른 계열과 출신을 가진 모델들은 같은 그룹 내의 모델보다 더 큰 불일치를 보이고 뚜렷한 선험적 지식을 가집니다.

오류는 종종 다양한 모델들이 불일치하는 경우에 집중되며, 동일한 모델 계열은 공유된 잘못된 부호 규칙으로 인해 의도치 않게 동일한 잘못된 결과를 생성할 수 있습니다.

첫 번째 기둥은 에이전트 시스템에 일관된 로그, 체크포인트, 예산 집행을 제공하는 하네스 역할을 하는 안정적인 배포 표면입니다.

두 번째 기둥은 개발 단계에서 비용, 시간 및 리소스 접근을 제어할 수 있도록 하는 제한된 실험을 강조합니다. 세 번째는 학습된 패턴과 디버깅 기술을 효과적으로 적용하기 위한 포괄적인 노하우와 방법론입니다.

네 번째이자 가장 중요한 기둥은 실패 표면으로, 시스템이 문제를 해결하고 안전하게 학습하기 위해 반복할 수 있는 제한된 공간 또는 규칙 집합을 정의합니다.

JIT 온톨로지 프로세스는 6단계로 구성됩니다. 첫째, 작업을 지정하고 더 작은 유형의 사례로 분할합니다. 예를 들어, 20만 개의 기부자 기록을 개체 해결을 위한 특화된 사례로 나눕니다.

둘째, 수동 기준선 또는 자동 스키마 검사를 사용하여 실패 표면을 정의합니다. 셋째, 최소한의 제한된 파일럿을 실행하여 아키텍처를 테스트합니다. 넷째, 성공적인 검사를 재사용 가능한 '코돈'(코드 세그먼트)으로 옮깁니다.

다섯째, 작동하는 파이프라인을 프로덕션에 배포하여 천천히 성숙시킵니다. 여섯째, 더 저렴하고 빠른 모델로 교체하고 동시에 요구 사항을 강화하면서 시스템을 지속적으로 개선하고 성숙시킵니다.

이 접근 방식은 컨텍스트와 증거가 유지된다면 모든 스키마를 유효하게 만들고, 어떤 형식의 정보든 특정 애플리케이션 내에서 유용하게 사용할 수 있도록 합니다.