Jev: 초고속 분류 모델, 추론 모델 아님

Jev는 게임 보드 상태와 같은 원시 입력을 처리하는 특화된 초고속 의사결정 모델로 작동합니다. 이 모델은 깊은 추론보다는 속도를 위해 구축되어 빠른 분류에 능숙합니다. 시각 기능은 없으며, 대신 구조화된 데이터에 의존하고 원활한 코드 통합을 위해 설계된 직접 함수 호출로 작동합니다.

Jev는 거의 즉각적인 실행을 제공하지만, 이 빠른 응답 속도는 정교한 추론 능력의 희생을 수반합니다. 이 모델은 '똑똑하지 않다'고 설명되며, 구조화된 데이터 처리에는 탁월하지만 깊은 '추론' 접근 방식을 활용하지 못합니다. 결과적으로 전략적 깊이나 복잡한 판단이 필요한 작업에서는 인간에게 쉽게 능가됩니다.

Jev는 자연어 생성보다 구조적 출력을 우선시하여 출력 형식 오류를 제거하도록 최적화되어 있습니다. 이 모델은 환각된 형식을 방지하도록 설계되어 일관되고 신뢰할 수 있는 데이터를 보장합니다. 이는 개발자를 위한 최전선 지능 함수 호출로 효과적으로 작동하게 합니다.

이는 모델 상호작용을 TypeScript 인터페이스와 유사하게 처리하여 에이전트가 이해하는 구조화된 구문을 제공함과 동시에 모델에 특정 형식 및 지침 세트를 제공합니다. 또한 BAML은 다른 모델에서 생성된 잘못된 JSON 출력에 대한 런타임 수정을 제공하여 데이터 무결성을 보장합니다.

대규모 언어 모델(LLM)은 본질적으로 비결정적입니다. 즉, 동일한 입력에도 불구하고 출력이 달라질 수 있으며, 고정된 데이터 형식을 보장하는 표준 코드 함수와는 다릅니다. 이러한 비결정성은 LLM이 일관된 형식 지정이나 유형 강제(예: 정수가 예상될 때 부동 소수점을 반환하는 경우)에 실패하는 경우가 많습니다. Jev와 같은 구조적 모델과 BAML과 같은 언어는 결정적이고 구조화된 출력을 부과함으로써 이 문제를 해결하는 데 중요합니다.

Jev는 효율성 향상을 위해 병렬 입력 처리를 지원하여 상당한 비용 절감으로 이어집니다. 입력 토큰 비용은 백만 토큰당 약 0.04달러로, Fable과 같은 모델의 백만 토큰당 10달러에 비해 대폭 감소했습니다. 이러한 극도로 낮은 운영 비용으로 인해 출력 토큰은 사실상 무료입니다.

이 모델은 또한 모든 출력에 대해 일관된 신뢰도 점수를 제공하여 다양한 애플리케이션에서 신뢰할 수 있는 자동화를 가능하게 합니다.

그 강점은 정보를 빠르고 효율적으로 분류하는 데 있으며, 복잡한 논리 분석이나 전략적 깊이에는 있지 않습니다.

벤치마크 비교에서 Jev는 27개의 질문을 단 0.114초 만에 거의 제로 비용으로 처리했습니다. 반면, 기존 LLM은 동일한 작업을 완료하는 데 9초가 걸렸고, 1.3달러의 비용이 발생했습니다. Jev는 32,000토큰의 매우 작은 컨텍스트 창을 유지하는데, 이는 깊은 추론이나 광범위한 컨텍스트 이해보다 빠른 처리에 중점을 둔 설계 의도를 강조합니다. 이 제한된 컨텍스트 창은 운영 효율성과 빠른 응답 시간을 보장합니다.

Jev는 텍스트 스트리밍을 피하고 전체 출력을 한 번에 전달함으로써 속도를 크게 높입니다. 테스트에서 100개의 이메일을 이메일당 평균 200밀리초의 속도로 처리하여 초당 38개의 이메일을 처리했습니다. 이러한 효율성 덕분에 Jev는 낮은 노력의 스팸 필터링 또는 빠르고 완전한 응답이 필수적인 기타 고빈도 분류 애플리케이션과 같은 작업에 특히 유용합니다.

Jev의 향후 개선 사항에는 이미지 지원이 포함될 예정이며, 이를 통해 비디오 프레임 내에서 민감한 데이터 또는 개인 식별 정보(PII)를 감지하는 것과 같은 새로운 애플리케이션이 가능해질 것입니다. 이 기능은 HTML 콘텐츠를 구문 분석하여 웹사이트 탐색에도 도움이 될 수 있으며, 텍스트 기반 분류를 넘어 확장될 잠재력을 보여줍니다. 현재 효율성의 한 예는 7.1초 만에 항공편을 예약할 수 있는 능력으로, 정확한 작업 자동화에 유용함을 강조합니다.

테오는 브레인 트러스트(Brain Trust)가 Jev를 에이전트 응답에 대한 심사위원으로 사용하자는 제안을 비판하며, 모델의 목적에 대한 근본적인 오해를 지적합니다. Jev와 같은 비추론적 분류기를 판단 능력으로 사용하는 것은 필요한 깊이와 상황 이해가 부족합니다. 범용 대규모 언어 모델(LLM)은 Jev가 갖지 못한 복잡한 분석 및 미묘한 의사결정 능력을 가지고 있기 때문에 추론 기반 채점 작업에 본질적으로 더 적합합니다.

컨텍스트 압축은 단순한 필터링 프로세스가 아닙니다. 이는 이전의 모든 상호 작용에서 요약을 종합해야 하는 작업이며, Jev는 추론 깊이 부족과 제한된 컨텍스트 창으로 인해 이러한 작업을 처리하기에 적합하지 않습니다. 최신 API의 추론 흔적은 종종 숨겨져 있거나 암호화되어 있어 수동으로 기록을 편집하기 어렵고 위험합니다. 기록을 수동으로 편집하려 하면 캐시와 중요한 추론 흔적이 무효화되며, 모델은 강화 학습을 통해 압축을 효과적으로 관리하도록 특별히 훈련되는데, 이는 Jev가 가지고 있지 않은 기능입니다.

깊은 컨텍스트 압축이나 복잡한 추론 작업에는 적합하지 않습니다. 이는 종종 이러한 용도를 시도하는 사용자에게 성능 문제로 이어지는 일반적인 오용입니다. 빠른 처리 능력은 빠르고 대량의 분류에 이상적이지만, 미묘한 이해를 요구하는 작업에는 적합하지 않습니다.

Jev는 채팅 기록 로그를 분류하고 구분하는 것과 같은 대량의 구조화된 데이터를 처리하는 데 매우 효과적입니다. 예를 들어, 1,118개의 스레드에 걸쳐 32,311개의 메시지를 효율적으로 처리할 수 있습니다. 이는 구조화된 데이터 처리와 빠른 분류가 필요한 대량 작업에 비용 효율적인 솔루션이 됩니다.

Jev는 본문 내의 각 값에 대해 단순한 목록 태그 지정이 아닌 0에서 1까지의 척도로 점수를 매긴 결과를 제공합니다. 이를 통해 사용자는 신뢰도 임계값을 동적으로 조정하여 분류 민감도를 미세 조정할 수 있습니다. 예를 들어, 신뢰도 임계값을 80%에서 90%로 변경하면 분류된 데이터의 분포가 크게 달라져 결과에 대한 더 큰 제어력을 제공할 수 있습니다.

Jev는 고수준 콘텐츠 큐레이션 결정에 어려움을 겪으며, 미묘한 사고를 요구하는 작업에 부적합함을 보여줍니다. 예를 들어, 비디오 제작을 위한 '저장 가치 있는' 스레드를 일관되게 식별하는 데 실패했는데, 이는 비판적 추론을 요구하는 복잡한 의사결정 작업에 충분히 똑똑하지 않음을 나타냅니다. 그 능력은 복잡한 분석적 판단보다는 간단한 분류에 가장 적합합니다.

Jev는 기존 개발 워크플로우 및 도구에 통합되도록 설계되었으며, 속도와 신뢰성을 가장 잘 활용할 수 있는 구조화된 출력 시나리오에서 탁월한 성능을 발휘합니다. 이러한 접근 방식은 Jev가 더 포괄적인 대규모 언어 모델을 대체하려 하기보다는 보완하도록 보장합니다.