Jev: 실제 의사 결정을 위한 빠르고 저렴한 AI

Jev는 거의 즉각적인 함수 호출을 제공하며, 이는 기본 요청을 위해 대규모 언어 모델(LLM)에서 일반적으로 경험하는 지연 시간보다 크게 향상된 것입니다.

John Lindquist는 비용 효율성을 강조하며 수백 건의 데모에 73센트만 지출했다고 언급하여 광범위한 사용을 위한 모델의 경제성을 보여주었습니다.

이러한 효율성은 5기가바이트의 JSON과 같은 대규모 데이터 세트를 효과적으로 처리할 수 있도록 하여 이전에는 너무 비싸거나 시간이 많이 걸려 분석할 수 없었던 높은 투자 수익률의 데이터 검색을 용이하게 합니다.

Jev는 대화형 텍스트를 생성하는 대신 결정, 점수 및 확률을 출력하여 애플리케이션 패러다임을 근본적으로 변화시킵니다.

이 모델은 구조화되지 않은 인간 입력을 구조화되고 타입 안전한 데이터 출력으로 변환하는 중요한 다리 역할을 하여 정확한 시스템 상호 작용에 이상적입니다.

아키텍처 설계는 정확한 입력을 요구하는 API 및 기능과의 원활한 통합을 허용하여 일반적인 목적의 채팅보다는 전문화된 작업에 전념합니다.

실시간 할 일 애플리케이션은 음성 입력을 실시간으로 처리하여 사용자의 의도를 분류하고 눈에 띄는 일시 중지 없이 특정 작업에 매핑합니다.

시스템은 받아쓰기 정확도를 확인하고 음성 입력을 기존 기록 또는 작업 정의와 효과적으로 일치시키기 위해 신뢰도 점수를 사용합니다.

Jev는 사용자가 계속 말하는 동안에도 수동으로 '엔터' 명령이나 음성 일시 중지가 필요 없이 함수 호출을 실행하기에 충분한 정보가 있는지 실시간으로 결정합니다.

John Lindquist는 Jev 워크플로우를 분류가 조건문 대신 사용되는 전통적인 수동 작성 코드의 논리에 비유합니다.

그는 이 접근 방식을 단일의 거대한 프롬프트 대신 AI 기반 분류가 필요한 순차 프로그램의 특정 지점을 식별하는 것으로 설명합니다.

이러한 관점은 개발자가 AI 호출을 `if-else` 또는 `switch` 문의 직접적인 대체물로 간주하도록 장려하여 보다 모듈화되고 정확한 AI 통합을 가능하게 합니다.

Jev는 Google Contacts의 연락처 항목이나 회사 정보와 같은 기록을 대규모 데이터 세트 전체에서 밀리초 단위로 중복 제거할 수 있습니다.

시스템은 99%와 같은 신뢰도 임계값을 정의하여 식별된 중복 기록의 병합을 자동으로 트리거할 수 있도록 합니다.

이러한 자동화 기능은 과거에 데이터 일관성을 위해 수동 개입이 필요했던 데이터 관리 프로세스를 크게 간소화합니다.

시스템이 특정 기록을 일치시키고 병합한 이유에 대한 투명성과 정당성을 제공하기 위해 정성적 설명을 생성할 수 있습니다.

Jev는 지능형 라우터 역할을 하여 다양한 사용자 의도를 애플리케이션 내의 특정 도구 또는 작업에 효과적으로 매핑합니다.

다단계 분류를 지원하여 모델이 먼저 적절한 도구를 선택한 다음 해당 도구 내에서 수행할 특정 작업을 결정할 수 있도록 합니다.

이러한 계층적 아키텍처는 특히 복잡한 애플리케이션 환경에서 사용자 경험의 보다 심층적이고 직관적인 탐색을 가능하게 합니다.

Jev는 체스 벤치마크에서 표준 LLM보다 10배 빠르고 4배 저렴하여 특정 정의된 작업에서 효율성을 강조합니다.

전통적인 LLM은 개방형 브레인스토밍에 능숙하지만 Jev는 가능한 작업 집합이 제한된 환경에서 탁월하여 빠르고 결정적인 작업에 이상적입니다.

이 모델은 1초 미만 창 내에서 잠재적 움직임을 순위를 매기기 위해 다단계 '스파이더링' 논리를 사용하여 실시간 시나리오에서 빠른 의사 결정을 가능하게 합니다.

개발자는 브라우저 클릭과 같은 애플리케이션 상호 작용에는 Jev를 사용하고 더 복잡하거나 시각적이거나 창의적인 분석 작업에는 LLM을 예약하는 것이 좋습니다.

John Lindquist는 '지연 시간 전쟁'이 심화될 것이라고 예측하며, 더 빠른 AI 응답이 더 많은 '마법'과 고급 사용자 경험을 가능하게 한다고 강조합니다.

실시간 응답성은 개발자가 간단한 AI 작업을 복잡하고 가치 높은 워크플로우로 연결하여 원활한 상호 작용을 생성할 수 있도록 합니다.

개발자는 사용자 인터페이스가 무한한 가능성을 제공하는 것처럼 보일지라도 애플리케이션 입력이 제한될 때 속도와 효율성을 최적화하기 위해 Jev를 먼저 고려해야 합니다.

브라우저 자동화의 인식된 복잡성에도 불구하고 웹 사이트는 일반적으로 제한된 수의 클릭 가능한 DOM 요소를 제공하여 AI의 의사 결정 공간을 단순화합니다.

'무한한' 화면을 유한한 UI 선택 집합으로 재구성함으로써 Jev는 거의 즉각적인 속도와 정확성으로 웹 페이지를 탐색할 수 있습니다.

이러한 의사 결정 논리는 Tetris 또는 플랫폼 게임과 같이 입력 집합이 엄격하게 정의된 게임과 유사한 환경에도 적용 가능하여 효율적인 AI 제어를 가능하게 합니다.

Jev는 사용자 의도 분류와 같이 행동 지향적이며 제한적이고 정의된 출력 옵션이 있는 작업에 선호되는 선택입니다.

대조적으로, 대규모 언어 모델, 특히 시각 기능이 있는 모델은 디자인 미학 평가 또는 이미지에서 제품 접근성 평가와 같은 주관적인 분석 작업에 더 우수합니다.

작업에 적합한 AI 모델을 선택하는 것은 성능 및 비용의 비효율성을 피하는 데 중요하며, 잘못된 도구를 사용하면 최적의 결과를 얻지 못할 수 있습니다.

이 모델은 시뮬레이션된 작업 환경과 같이 에이전트가 통과 의례와 의약품을 이동하여 충돌을 효과적으로 피하는 복잡한 환경에서 여러 에이전트의 자율적인 탐색을 용이하게 합니다.

사전에 계획된 정적 경로에 의존하는 대신 실시간으로 경로를 계획하여 병렬 에이전트 시스템을 위한 '적시' 의사 결정을 가능하게 함으로써 충돌 방지를 달성합니다.

이러한 동적 계획은 특히 상호 작용하는 에이전트 및 작업의 수가 증가함에 따라 운영 효율성에 중요합니다.

각각 자신의 작업을 가진 에이전트를 병렬로 관리하는 시스템의 능력은 다양한 산업에서 보다 정교하고 반응적인 자동화 시스템을 향한 중요한 단계입니다.

이 모델은 '라이프 코치' 역할을 하여 발표자가 모든 요구 사항을 충족하고 할당된 시간 제약 내에 머무를 수 있도록 돕습니다.

향후 개선 사항에는 음성 진행 상황에 따라 시각적 경고를 트리거하거나 슬라이드를 자동으로 넘기는 기능이 포함되어 프레젠테이션 전달을 더욱 향상시킬 수 있습니다.

핵심 논리는 결정적인 작업 또는 함수 호출이 트리거될 때까지 단어를 연결하여 음성 텍스트 세그먼트를 분석합니다.

이 프로세스는 구조화되지 않은 음성을 구조화된 데이터로 효율적으로 변환하여 다양한 기능으로 직접 페이로드를 전송하는 데 적합하게 만듭니다.

이러한 음성 스트림을 처리하기 위해 롤링 윈도우 시스템이 사용되며, 이는 실시간 상호 작용에서 최적의 성능과 응답성을 유지하기 위해 지속적으로 재설정됩니다.

John Lindquist는 단일 패스로 원하는 정확도를 달성하기에 불충분할 때 다중 패스 분류를 사용할 것을 권장합니다.

개발자는 이진 예/아니오 응답과 선택 기반 옵션과 같은 다양한 호출 유형을 실험하여 모델 성능을 향상시켜 의사 결정을 개선할 수 있습니다.

시간이 지남에 따라 수집된 데이터를 통해 개발자는 복잡한 다계층 분류 흐름을 보다 효율적인 단일 단계 작업으로 통합할 수 있습니다.

로컬 AI 처리는 특히 대규모 데이터 세트에서 디스크 공간 소비 및 메모리 중단과 관련된 상당한 문제에 직면하는 경우가 많습니다.

John Lindquist는 미디어 파일을 SSD로 전송하고 캐시 및 작업 트리를 정기적으로 지우는 자동화된 스크립트를 사용하여 이러한 문제를 관리합니다.

원격 머신 또는 클라우드 기반 스택으로 전환하는 것은 로컬 하드웨어 제약을 완화하고 분산 AI 워크로드를 효율적으로 처리하기 위한 강력한 솔루션을 제공합니다.

John Lindquist는 현재 자신의 사업에서 40명의 에이전트를 관리하고 있으며, 운영 컨텍스트에서 AI의 실제 적용을 강조합니다.

조직 설계 및 역할 정의 기술은 관리자가 기업 내에서 효과적인 AI 에이전트 팀을 구성하고 감독함에 따라 점점 더 중요해지고 있습니다.