Typesafe AI, '시스템 1' 모델 Jev 출시

대규모 언어 모델(LLM)은 불과 3년 전보다 기하급수적으로 더 많은 토큰을 생성하고 있습니다. 그러나 인간이 실제로 읽는 토큰의 비율은 0.00001% 미만으로 급감했습니다. AI의 가치는 인간이 직접 상호작용하지 않는 추론 및 에이전트 프로세스에 사용되는 유틸리티 토큰에서 점점 더 많이 파생됩니다.

여기에는 코드 생성의 출력이 포함되며, 생성된 코드 자체가 사람이 읽지 않더라도 상당한 가치를 제공할 수 있습니다. 이러한 보이지 않는 토큰의 본질적인 유용성은 AI의 가치 성장이 인간 소비율에 묶여 있는 것이 아니라 백엔드 처리 능력에 있다는 것을 보여줍니다.

테오에 따르면, "생성되는 토큰의 수는 증가합니다. 생성되는 토큰에서 얻는 가치의 양도 증가합니다. 그러나 우리가 읽는 양은 총 숫자가 아니라 비율로 감소합니다."

텍스트 기반 AI와 달리 미디어 생성(이미지, 비디오, 음악)은 가치를 전달하기 위해 인간의 소비가 필요합니다. 보이지 않는 토큰도 유틸리티를 제공하는 LLM에서 볼 수 있는 기하급수적 스케일링 논리는 생성된 미디어에는 적용되지 않습니다.

인간은 미디어를 소비하는 능력에 내재된 한계가 있어 소비를 100배 늘리는 것은 비현실적입니다. 생성된 미디어가 보이지 않으면 본질적인 가치가 활용되지 않아 텍스트 기반 AI에서 관찰되는 종류의 기하급수적 성장을 방해합니다.

테오는 "인간이 소비하지 않는 생성된 미디어에서 가치를 얻을 수 없다면 기하급수적 성장은 존재하지 않습니다."라고 설명합니다. 이러한 근본적인 차이는 미디어 생성의 가치 제안이 인간 상호작용에 직접적으로 묶여 있다는 점을 강조하며, 이는 많은 텍스트 기반 AI 애플리케이션에는 없는 제약입니다.

고급 모델을 개발하는 개발자를 포함한 AI 안전 옹호자들은 안전에 초점을 맞춤으로써 합리적인 선택을 합니다. 그들의 동기는 AI 경쟁에서 선두 개발자들이 안전을 적절하게 다루지 않으면 기술이 실존적 위협이 될 수 있다는 두려움에서 비롯됩니다.

이러한 관점은 해변가 부동산 소유자들이 기후 변화 행동을 옹호하는 것과 유사합니다. 잠재적 위험에 가장 가까운 사람들이 이를 완화할 가장 강력한 동기를 가지고 있기 때문입니다. 가능한 한 안전한 모델을 구축함으로써 이러한 개발자들은 안전하지 않은 AI의 개발을 가장 효과적으로 방지할 수 있다고 믿습니다.

이러한 접근 방식은 이익 및 시장 지배력에 대한 인센티브를 안전한 AI 시스템 개발이라는 필수적인 과제와 일치시킵니다. 테오가 지적했듯이, "다리오가 AI를 안전하게 만드는 것은 AI 경쟁의 승자들이 안전에 충분히 신경 쓰지 않으면 우리가 전멸할 것이라는 두려움 때문입니다."

초기에는 회의적인 시각이 있었지만, AI 급속 발전 시나리오에 대한 믿음이 커지면서 AI 행동과 인간 감지 사이의 중요한 시간 창에 초점이 맞춰졌습니다.

AI 에이전트는 인간이 제때 발견하지 못할 미묘하고 숨겨진 흔적을 남길 수 있습니다. 이는 자율 에이전트가 통제 불능 상태가 된 순간 인터넷이나 전력망과 같은 중요 인프라에 상당한 피해를 줄 위험을 만듭니다.

테오가 강조했듯이, "문제는 일단 시작되면 멈출 수 있느냐가 아닙니다. 문제는 우리가 알아차리고 플러그를 뽑기 전에 그들이 얼마나 많은 피해를 줄 수 있느냐입니다." 이는 빠르게 작동하는 AI가 초래할 수 있는 빠르고 광범위한 피해를 완화하기 위한 모니터링 및 제어 메커니즘의 시급성을 강조합니다.

AI 에이전트가 이메일에 접근하도록 허용하면 초기 기대를 뛰어넘어 작업 흐름 효율성이 극적으로 향상됩니다. 현재 AI 에이전트의 이메일 읽기 전용 접근은 예상보다 훨씬 더 유용하다는 것이 입증되고 있습니다.

이러한 유용성은 AI가 정보를 빠르게 처리하고 분류하여 지루한 작업에서 사용자를 해방시키는 능력에서 비롯됩니다. 이 실제 응용 프로그램은 제한된 권한으로도 AI 에이전트를 일상적인 디지털 루틴에 통합할 때 즉각적인 이점을 보여줍니다.

테오는 "AI가 제 이메일에 접근할 수 있다는 것이 얼마나 유용한지 정말 놀랍습니다. 생각했던 것보다 훨씬 더 좋고 훨씬 더 도움이 됩니다."라고 말합니다.

이는 테오가 코드 작성 스타일이 더 우수하다고 생각하는 Fable 때문에 Claude Code를 Codex보다 두 배 더 많이 사용한다고 공유한 후에 발생했습니다.

테오는 특히 Anthropic에 대한 과거 비판을 고려할 때 이 발언이 놀랍다고 생각했습니다. 그는 또한 Astra도 유능한 모델이지만, 일관된 사용에는 '너무 불안정하다'고 묘사했습니다. 이러한 교환은 선도적인 AI 모델 간의 경쟁 환경과 다양한 사용자 경험을 강조합니다.

이는 생성된 토큰 중 약 0.001%에 불과한 아주 작은 부분만 실제로 인간이 소비하기 때문입니다.

AI에 의해 생성된 대부분의 토큰은 백엔드 추론 또는 기계 대 기계 논리에 사용되며, 보이지 않아도 가치를 제공합니다. 이는 인간이 보거나 듣지 않으면 쓸모없는 미디어와는 대조적입니다.

테오는 이러한 구분이 미디어 생성에 대한 기하급수적 가치 곡선이라는 개념에 도전하며, 현재의 과대광고와 투자가 불균형하게 보인다고 주장합니다. 그는 "저는 AI 미디어 생성이 과대평가되고 지나치게 자금 지원을 받고 있다고 생각합니다. 특히 이미지 생성, 비디오, 음악 등은 말입니다. 말이 안 됩니다."라고 단언합니다.

압축은 에이전트가 효과적으로 기능하는 데 필요한 올바른 컨텍스트를 보장하는 데 중요합니다.

압축 작업을 다른 모델에 오프로드하면 중요한 기록 정보가 손실되어 에이전트의 성능이 저하되는 경우가 많습니다. 마찬가지로 Claude Code와 같은 외부 도구를 사용하여 모델의 기록을 편집하면 근본적인 추론 프로세스가 손상될 수 있습니다.

Anthropic은 훈련 프로세스에 직접 압축을 통합하여 이 문제를 해결했으며, 이는 모델의 컨텍스트 이해 무결성을 유지하는 데 도움이 됩니다. 테오는 "압축이 단순히 필터가 아니라는 점을 이해해야 합니다. 압축의 목적은 에이전트에게 올바른 컨텍스트가 존재하도록 보장하는 것입니다."라고 말합니다.

이러한 구분은 데모가 모델이 실제 시각 능력을 가지고 있지 않음에도 불구하고 가지고 있다고 사용자를 오도할 수 있다는 우려를 불러일으킵니다.

진정한 시각 능력의 부족은 컴퓨터 상호작용을 위해 설계된 현재 AI 모델의 가장 큰 결함 중 하나로 지적됩니다. 사용자들은 도구 지원 작업을 기본 프로그램 방식 방법을 이해하지 못한 채 내재된 시각적 지능으로 오인할 수 있습니다.

테오는 "모든 컴퓨터 사용 유형 데모가 사람들을 혼란스럽게 할까 봐 두렵습니다. 이 모델에는 비전이 없기 때문입니다."라고 우려를 표합니다. 이는 AI 모델이 디지털 인터페이스와 상호작용하는 방식에 대한 투명성의 필요성을 강조합니다.

ARM 노트북 지원은 '지옥 같다'고 묘사되며, 스냅드래곤 기반 장치에서는 심각한 화면 깜빡임과 같은 문제가 발생합니다.

이는 ARM 기반 리눅스를 특정 서버 워크로드로 제한하여 범용 컴퓨팅에는 부적합하게 만듭니다. 하드웨어 및 소프트웨어 생태계는 대부분의 애플리케이션에 안정적이고 신뢰할 수 있는 사용자 경험을 제공하기에 아직 충분히 성숙하지 못합니다.

테오는 단호하게 "ARM 기반 리눅스는 끔찍합니다. 지금은 전혀 실행 가능하지 않습니다. 특정 서버 워크로드에는 적합하지만, 실제적인 용도로 사용하는 머신으로는 적합하지 않습니다."라고 말합니다.

Jev의 주요 기능은 데이터 처리, 특히 분류 및 구성입니다.

이 모델은 타입 안전(type-safe) 형식으로 JSON 출력을 보장하여 코드베이스 및 프로그램 방식 의사 결정에 통합하는 데 이상적입니다. 코드를 작성하거나 복잡한 텍스트를 생성하도록 설계된 모델과 달리 Jev는 빠르고 구조화된 데이터 처리에 중점을 둡니다.

테오는 "이것은 코드를 약간 더 잘하는 일반적인 새로운 LLM이 아닙니다... 이 모델은 데이터 처리를 위한 것입니다. Typesafe AI라는 회사에서 만들었으며 Jev라고 불립니다. 이 모델의 목적은 텍스트를 생성하거나 코드를 작성하는 것이 아닙니다... 분류입니다."라고 강조합니다.

시스템 1은 빠르고 직관적인 판단을 나타내고, 시스템 2는 느리고 신중한 추론을 포함합니다.

Typesafe의 프레임워크에서 Jev는 시스템 1 작업을 처리하도록 설계되어 분류 및 빠른 의사 결정을 위한 고속의 프로그램 방식 응답을 제공합니다. 시스템 2와 유사한 더 복잡한 추론 작업은 여전히 전통적인 추론 모델에 의해 관리됩니다.

이 모델은 자원 사용 효율성이 증가하면 소비가 증가할 수 있다는 '제본스의 역설(Jevons Paradox)'에서 이름을 따왔습니다. 테오는 "여기서 핵심 개념은 시스템 1 모델입니다... 시스템 1은 뇌의 빠르고 직관적인 판단입니다... 시스템 2는 느리고 신중한 추론입니다. 타입 안전 프레임워크에서 Jev는 첫 번째 유형의 작업을 처리하는 반면 추론 모델은 여전히 두 번째 유형의 작업을 처리합니다."라고 설명합니다.

BAML이 LLM과 실제 코드 사이의 인터페이스 레이어 역할을 하여 둘을 연결하는 언어를 제공하는 반면, Jev는 결정론적 출력 형식을 보장하도록 처음부터 설계된 모델입니다.

이는 Jev가 JSON 형식을 입력으로 받으면 유효한 JSON을 출력하지 못할 수 없다는 것을 의미하며, 기존 LLM이 종종 요구하는 후처리 또는 재포맷팅이 필요 없습니다. 이러한 내재된 구조적 보장은 Jev를 프로그램 방식 통합에 더 신뢰할 수 있게 만듭니다.

테오는 "클릭한 후 정말 마음에 들었던 것 중 하나는 BAML이라고 불립니다. BAML의 목적은 에이전트와 실제 코드 사이를 연결하는 언어를 만드는 것이었습니다... Jev는 말 그대로 [유효한 JSON을 출력하지 못할 수] 없습니다. JSON 형식을 제공하면 그 JSON 형식을 돌려받습니다."라고 언급했습니다.

Jev는 분류 및 순위 지정 작업에서 효율성의 상당한 도약을 보여주며, 기존 대안을 훨씬 뛰어넘는 성능 지표를 자랑합니다. 이 모델은 경쟁사보다 170배 저렴하고 70배 빠르다고 보고됩니다.

이러한 극단적인 최적화는 Jev를 빠르고 비용 효율적인 데이터 처리가 필요한 애플리케이션에 매우 매력적인 옵션으로 만듭니다. 특수 설계 덕분에 범용 LLM이 더 높은 비용과 더 긴 지연 시간을 초래할 수 있는 작업에서 탁월한 성능을 발휘할 수 있습니다.

테오는 이 수치를 강조하며 "170배 저렴하고 70배 정도 빠릅니다."라고 말했습니다. 이러한 상당한 성능 및 비용 효율성 차이는 Jev를 특정 AI 워크로드의 판도를 바꾸는 모델로 자리매김합니다.

핵심적인 한계는 복잡하고 정보에 입각한 의사 결정을 내리는 능력에 있습니다. 이 모델은 미묘한 질적 평가나 코드 분석과 같은 복잡한 작업에는 '충분히 똑똑하지 않습니다'.

Jev는 빠른 분류가 필요한 '단순한 일'에는 뛰어나지만, 더 깊은 지능이 필요한 '어려운 일'에는 어려움을 겪습니다. 즉, 간단하고 대량의 작업에는 매우 효과적이지만 상당한 인지 처리나 추상적 사고가 필요한 작업에는 적합하지 않습니다.

테오는 "이 모델은 이러한 유형의 문제에 대해 정보에 입각한 결정을 내릴 만큼 똑똑하지 않습니다. [...] 이 모델은 단순한 일에 빠릅니다. 어려운 일에 똑똑하지 않습니다."라고 명확히 합니다. 사용자는 이 모델을 효과적으로 적용하기 위해 특정 범위를 이해해야 합니다.

이는 즉각적이고 10초 이내의 응답이 필요한 작업에 적합합니다.

분류, 구성 및 순위 지정에서 강점을 프로그램 방식으로 활용할 수 있는 코드 라이브러리처럼 시스템에 통합되어야 합니다. 심층적인 사고나 복잡한 추론이 필요한 작업은 Jev의 의도된 응용 범위를 벗어납니다.

테오는 "작업에 생각이 필요하다면 이 모델은 적합하지 않습니다. 작업에 분류, 구성, 순위 지정, 빠른 의사 결정이 필요하다면 이 모델은 놀랍습니다."라고 조언합니다. 이 구분은 Jev를 효과적으로 배포하고 그 이점을 극대화하는 데 중요합니다.

A/B 테스트에서 개인은 거의 항상 더 생생한 사진을 선택하는데, 이는 브로콜리보다 초콜릿을 선택하는 것과 유사한 선호도입니다.

이러한 경향은 현실적인 표현에서 벗어나더라도 색상 강도가 높아진 것을 선호하는 인간의 타고난 미적 선호를 시사합니다. 테오는 아이폰의 '정확한' 사진 처리를 개인적으로 선호한다고 언급하며, 인기 있는 취향과 기술적 충실도 사이의 차이를 나타냅니다.

테오가 설명했듯이, "두 장의 사진을 보여주고 한 장은 채도가 더 높을 때, 그들에게 빠르게 둘 중 하나를 선택하라고 하면, 그들은 거의 항상 더 채도 높은 사진을 선택할 것입니다."

그는 그러한 모델에 대해 전체 API 가격을 지불하는 것은 '미친 짓'이라고 생각하며, 직접 API 요금에서 상당한 비용 대 가치 불균형이 있음을 나타냅니다.

이 평가는 Fable이 Astra와 마찬가지로 유능한 AI 기능을 제공하지만, 많은 사용자에게 경제적 생존 가능성은 토큰당 직접 비용을 줄이는 가격 구조에 달려 있음을 시사합니다. Astra 및 Fable과 같은 모델의 서로 다른 비용 프로필은 개발자에게 중요한 고려 사항입니다.

테오는 "구독을 통해 보조금을 받지 않는다면 Fable이 그만한 가치가 있다고 생각하지 않습니다. 전체 API 가격을 지불하는 것은 저에게는 정말 미친 짓처럼 들립니다."라고 말합니다.

'claude.md' 또는 'agent.md'와 같은 구성 파일에 있는 과도한 행동 지침은 일반적으로 재평가하고 종종 삭제하는 것이 좋습니다. 모델은 지나치게 구체적이거나 부정적으로 표현된 제약 조건 없이 형식 지정 및 작업 실행을 더 효과적으로 처리하는 경우가 많습니다.

AI 모델의 최근 업데이트는 기본 구성 파일이 없을 때 에이전트별 지침을 참조하게 할 수도 있으며, 이는 명확하고 간결한 지시의 중요성을 강조합니다. 이러한 지침을 단순화하면 더 나은 성능을 얻고 의도하지 않은 부작용을 줄일 수 있습니다.

테오는 "일반적으로 claude.md에 있는 모든 행동 지침은 삭제하고 재고해 볼 가치가 있습니다."라고 권장합니다.

예를 들어 Claude는 뛰어난 코드 생성으로 유명하며, Astra와 같은 모델은 검토자로서 탁월할 수 있습니다.

사용자는 에이전트에게 다른 모델에 변경 사항에 대한 피드백을 제공하거나 구현된 수정 사항을 테스트하도록 지시할 수 있습니다. 이를 통해 만족할 때까지 지속적인 인간의 개입 없이 에이전트가 테스트 및 자체 수정 과정을 반복할 수 있습니다.

테오는 "저는 종종 Fable에게 Astra에게 변경 사항에 대한 피드백을 제공하거나 결과를 확인하기 위해 변경 사항을 테스트하도록 요청합니다."라고 설명합니다.

샘 알트먼이 2025년 7월에 AI 지능이 "측정하기에는 너무 저렴해지고" 매년 10배씩 비용이 감소할 것이라고 예측한 것은 현재 시장 현실과 극명한 대조를 이룹니다. 사용자들은 AI 요금이 수백 달러에서 수천 달러로 상당한 증가를 보고하고 있으며, 둔화될 조짐은 보이지 않습니다.

Astra 및 Fable과 같은 현대의 고성능 모델은 강력하지만 토큰당 비용이 더 비싼 것으로 판명되고 있습니다. 극적으로 저렴한 AI에 대한 약속과 실제 비용 상승 사이의 이러한 가시적인 모순은 개발자와 기업의 증가하는 우려 사항입니다.

테오는 "측정하기에는 너무 저렴한 지능이 AI의 다음 개척지입니다. 샘 알트먼에 따르면, 2025년 7월에... 모든 사람의 AI 요금이 멈출 기미 없이 계속 오르고 있는 것 같습니다."라고 말합니다.

포괄적인 평가는 토큰 비용, 주어진 작업을 완료하는 데 필요한 토큰 수, 그리고 다양한 모델이 제공하는 달러당 특정 지능의 세 가지 주요 요소를 고려해야 합니다.

최고급 모델은 비쌀 수 있지만, 더 작고 전문화된 모델은 특정 워크로드에 대해 엄청난 비용 절감을 제공할 수 있습니다. 예를 들어, GLM 5.3 Flash는 특정 작업에 대해 20~30배 더 저렴한 성능을 제공하는 사례로 언급됩니다.

테오는 "우리가 고려해야 할 세 가지는 첫째, 물론 토큰 비용입니다... 두 번째는 주어진 작업을 완료하는 데 필요한 토큰 수이고, 세 번째는 모델이 완료할 수 있는 작업 유형, 특히 달러당 지능의 양입니다."라고 요약합니다. 이러한 전체론적 관점은 AI 배포의 가치와 효율성을 정확하게 평가하는 데 도움이 됩니다.

테오는 과거에 AI가 '정체되거나' '정점에 도달했다'는 자신의 주장이 완전히 틀렸음을 솔직히 인정하며, 이를 자신의 최악의 판단이었다고 말합니다. 그는 이전 벤치마크가 포화 상태로 보였고, AI 평가 방법의 필요한 전면적인 개편을 촉발했다고 인정합니다.

DeepSeek V4 Flash와 같은 현대 모델은 이제 이전 벤치마크를 크게 능가하면서도 훨씬 저렴합니다. 이러한 빠른 발전은 AI 개발의 역동적이고 예측 불가능한 특성을 보여주며, 그 궤적에 대한 이전 가정을 뒤엎습니다.

테오는 "저는 우리가 어느 정도 정체되었다고 생각했습니다... 제가 너무 틀렸습니다. 제 인생에서 그렇게 나쁜 판단을 한 적이 없습니다. 그리고 저는 교훈을 얻었습니다. 제가 너무 틀렸습니다. 웃깁니다."라고 말합니다.