Jev: 의사 결정을 위한 비용 효율적인 AI

이 모델은 현재 Vercel AI 게이트웨이에서 무료로 이용할 수 있어 사용자가 즉각적인 비용 없이 기능을 경험할 수 있습니다.

발표자는 개인 생산성, 코딩, 제품 개발 등 다양한 영역에서 높은 유용성을 강조하며 다재다능함과 효율성을 입증했습니다.

백만 입력 토큰당 4센트는 사용자의 총 비용을 나타냅니다. 모델이 생성하는 데이터가 미미하여 출력 토큰에 대한 요금이 부과되지 않습니다.

이러한 가격 모델은 일반적으로 생성된 출력에 상당한 요금을 부과하는 표준 LLM에 비해 상당한 비용 이점을 제공하여 Jev를 고속 분류 및 의사 결정 작업에 최적화합니다.

Jev는 높은 수준의 의사 결정 및 논리 게이트 애플리케이션에 탁월하여 지원 피드백 라우팅 또는 다양한 데이터 세트 분류와 같은 작업에 이상적입니다.

이와 대조적으로, 표준 LLM은 텍스트 초안 작성이나 코드 작성과 같은 생성 작업에 더 적합하며, Jev의 속도는 효율적인 실시간 애플리케이션 처리를 가능하게 합니다.

Jev는 선택, 점수 또는 null의 세 가지 주요 출력 유형을 제공하며, 텍스트 기반 생성 모델과 근본적으로 다릅니다.

'선택'은 미리 정의된 목록에서 선택하고, '점수'는 숫자 순위(예: 심각도 수준)를 제공하며, 'null'(부울) 응답은 특정 질문에 대한 '예' 답변의 확률을 나타냅니다.

Jev는 이전에 구성하기 어렵고 비용이 많이 들었던 비정형 데이터를 분류하는 데 사용됩니다.

발표자는 Jev를 활용하여 수천 개의 PR에 대한 쌍별 비교를 수행하고 주제 관련성을 평가했습니다.

이 방법을 통해 다양한 이니셔티브에 걸쳐 엔지니어링 노력을 세부적으로 추적할 수 있었고, 1,700개의 PR(17,000개 비교)에 대해 단 9센트의 비용으로 약 2분 만에 완료되었습니다.

리더십은 112개의 풀 리퀘스트 분류에 1.1센트, 2,000개의 풀 리퀘스트 프로젝트 분석에 9센트가 든 이 도구를 사용하여 노력 할당에 대한 이사회 수준 질문에 답할 수 있습니다. 발표자는 ChatPRD 작업의 거의 30%가 플랫폼, 보안 및 인프라에 전념하고 있다고 언급했습니다.

이 접근 방식은 명확한 데이터를 제공하여 리더십이 노력 할당에 대한 이사회 수준의 질문에 답변하는 데 도움이 됩니다.

분석 결과 ChatPRD 작업의 거의 30%가 플랫폼, 보안 및 인프라에 전념하고 있어 자원 분배에 대한 중요한 통찰력을 제공하는 것으로 나타났습니다.

Jev는 보안, 성능 및 인프라와 같은 투자 영역을 빠르고 정확하게 분류하여 자원 할당에 대한 명확한 그림을 제공합니다.

발표자는 몇 달 동안 투자 우선 순위의 변화를 관찰했으며, 이는 최소한의 비용으로 대규모 데이터 세트에서 진화하는 전략을 추적하는 모델의 유용성을 입증합니다.

로컬 Claude 및 Codex 채팅 로그에서 데스크톱 데이터를 파싱하면 사용자가 1월의 순수 엔지니어링 작업에서 9월까지 에이전트 기반 작업 및 미디어 게시로 전환하는 것과 같이 일일 노력의 세부적인 변화를 추적할 수 있습니다.

데이터는 1월의 순수 엔지니어링 작업에서 9월까지 더 많은 에이전트 기반 작업 및 미디어 게시로 상당한 변화를 보여주었으며, 거의 비용 없이 일일 노력 분배에 대한 세부적인 통찰력을 제공했습니다.

Jev는 정보 태그 지정 및 클러스터링을 위한 필터 역할을 하며, 'LLM 버디'는 더 높은 수준의 추론을 처리하여 버그 및 이메일과 같은 대량 데이터를 관리하기 위한 강력한 패턴을 생성합니다.

발표자는 Jev를 분류, 클러스터링 및 매핑에 성공적으로 활용했으며, Astra와 같은 고급 모델은 전략 및 통찰력 추출을 위해 전략적으로 보류했습니다.

성공은 모든 작업에 대규모 생성 모델에만 의존하는 것이 아니라 구조적 처리가 필요한 곳에 Jev를 특정하게 적용한 데 기인합니다.

Jev는 PR, 지원 티켓 및 선형 티켓을 포함한 다양한 데이터 신호에 레이블을 할당하여 1,100개 이상의 개별 신호를 효과적으로 종합하여 고객 요청과 실제 개발 작업 간의 불일치를 식별합니다.

Astra는 Jev 클러스터와 쌍을 이루어 레이블이 지정된 데이터에서 더 깊은 통찰력을 추출하여 분석을 향상시킵니다.

이 접근 방식은 노동 집약적인 수동 분석을 대체하여 기능을 더 마진 증가적으로 만들었으며, 파이프라인은 Jev 측에서 약 4달러에 200,000개 이상의 분류 및 그룹화를 수행했습니다.

How I AI 팟캐스트의 4,500개 YouTube 댓글을 분석하기 위해 실시간 시청자 대시보드가 개발되었으며, Jev는 감성(긍정, 부정, 중립)을 분류하고 특정 에피소드 요청을 식별하여 시청자 피드백에 대한 명확한 메트릭을 제공합니다.

아키텍처는 성능 유지를 위해 배치 처리, 점수 매기기 및 고득점 결과 우선 순위 지정을 사용하며, '화면 공유' 또는 '슬롭'과 같은 특정 주제를 빠르게 필터링할 수 있습니다.

음성 감성을 시각 및 인용구에 매핑하는 애플리케이션이 OpenAI의 실시간 음성 API, Jev 및 외부 인용구 API를 통합하여 구축되었습니다.

Jev는 사용자의 감정을 분류하고 이를 16진수 색상 코드에 매핑하여 식별된 감성에 따라 인용구를 필터링하고 관리 가능한 지연 시간으로 실시간으로 표시하며 캐싱을 통해 추가 최적화 가능성을 제공합니다.

Jev는 음성 입력에서 화자의 감정 상태를 분석하여 해당 색상을 결정하며, 대화형 실시간 앱 경험을 구축할 가능성을 강조합니다.

시스템은 색상 일치를 위해 미리 정의된 16진수 값 목록을 사용하며, Jev는 실시간 API에서 들어오는 구문에 따라 색상에 점수를 매깁니다.

모델은 감지된 감성에 따라 인용구를 필터링한 후 표시하며, 로컬 실행은 성능 향상을 위해 캐싱을 통해 추가로 최적화할 수 있습니다.

호스트는 특별 게스트와 함께 Jev에 중점을 둔 또 다른 에피소드 계획을 발표하고 시청자들에게 댓글 섹션에 Jev 구현과 관련된 질문을 제출하도록 권장했습니다.