새로운 모델 GLM-5.3 플래시의 뛰어난 성능, 경쟁자들을 압도

Theo는 최근 깁스 문제로 5일 동안 타이핑을 할 수 없게 되어 생산성에 심각한 영향을 미쳤다고 밝혔습니다. 그는 음성-텍스트 변환(Whisper Flowing)을 시도했지만, 'command tab' 단축키와 같은 키보드 기능이 없어 코딩 및 재정 관리와 같은 일상적인 작업이 어렵다고 언급했습니다. 이 부상은 복잡한 개발 작업에서 물리적 입력에 대한 그의 의존성을 강조합니다.

인대 손상에 대한 초기 오진으로 인해 작년 말 엄지 재건 수술을 받았습니다. 최근 Theo는 새로운 '뚝' 소리와 날카로운 통증을 경험하여, 시간이 지남에 따라 엄지손가락이 비뚤어지게 만든 원래 부상의 지속적인 합병증을 해결하기 위해 추가 병원 방문이 필요했습니다. Theo는 "그들은 알아채지 못했던 엄청난 양의 근육과 인대 손상이 있었습니다. 그것이 천천히 제 손을 점점 더 망가뜨렸고 결국 엄지손가락이 손 아래로 처지기 시작했습니다."라고 말했습니다.

Theo는 자신의 채널에 스폰서십을 성공적으로 통합한 후 이 중요한 채용이 가능해졌다고 언급했습니다. Treetops는 Theo의 채널 콘텐츠에 기여하고 에이전시의 관련 프로젝트를 지원할 예정입니다.

그는 프롬프트 인젝션 방어의 책임은 UI 하네스가 아닌 모델 및 API 제공업체에 있다고 주장했습니다. Theo는 사용자 인터페이스 수준에서 방어벽을 구축하는 것은 비효율적인 접근 방식이며, 핵심 문제에서 자원을 분산시킨다고 강조했습니다. Theo는 "프롬프트 인젝션을 방어하는 것은 UI 측의 일이 아닙니다. 하네스의 일도 아닙니다. 그것은 모델과 API의 일입니다."라고 말했습니다.

Theo는 Electron과 Tauri를 미묘하게 비교하며, 자주 사용하지 않는 경량 애플리케이션에는 Tauri를 권장했습니다. 그러나 하루 1시간 이상 사용하고 일관된 크로스 플랫폼 성능이 필요한 고사용 애플리케이션의 경우 Electron이 여전히 우수한 선택이라고 주장했습니다. 그는 Electron이 까다로운 애플리케이션에 대해 더 안정적이고 성능이 우수한 경험을 제공한다고 주장했습니다. Theo는 "하루 1시간 이상 사용하고, 특히 성능이 좋으며, 플랫폼 전반에 걸쳐 실제로 좋고 일관된 경험을 제공하는 앱을 만들고 싶다면 Electron을 사용해야 합니다."라고 말했습니다.

목표는 설정 중에 사용자의 과거 프로젝트 기록을 자동으로 가져와 초기 경험을 간소화하는 것입니다. 이 이니셔티브는 Orchestrator V2의 지속적인 개발과 균형을 이루며 새로운 기능과 원활한 사용자 진입을 모두 제공하는 것을 목표로 합니다. Theo는 "설정 시 Claude 코드와 코덱을 정말 강조하고 싶습니다."라고 말했습니다.

Theo는 Cloudflare Tunnels에 대해 상당한 불만을 표하며, 한 달 동안 해결되지 않은 가격 관련 논의를 언급했습니다. 그는 Cloudflare의 무료 등급에서 기업 솔루션으로의 전환이 지나치게 비싸다고 주장했습니다. Theo는 사용량이 1,000개 단위 무료 한도를 초과할 경우, 감당할 수 없는 비용과 부실한 기업 판매 지원으로 인해 Cloudflare Tunnels를 피하라고 조언했습니다. Theo는 "저는 Cloudflare가 이 문제로 저를 끌고 다니는 방식에 정말 화가 납니다."라고 말했습니다.

안정적이고 빠른 구현을 위해 13번 이상의 풀 리퀘스트 반복이 필요했던 이 기능은 보조 장치에 대한 수동 액세스나 물리적 상호 작용의 필요성을 없앱니다. 그는 다른 방에 있는 MacBook을 한 번의 버튼 클릭으로 업데이트하는 것을 시연했습니다. Theo는 "원격 업데이트를 설정했습니다. 다른 방에 있는 이 MacBook에서 이 버튼으로 T3 코드를 업데이트할 수 있습니다."라고 말했습니다.

그는 오픈소스 모델이 커뮤니티 주도의 수정 및 개선을 가능하게 하여 문제가 발생했을 때 상당한 이점이라고 강조했습니다. Theo는 이러한 차이점이 T3 코드가 사용자 기반에 의해 더 쉽게 적용되고 유지 관리될 수 있음을 의미한다고 주장했습니다. Theo는 "제가 아는 한 Origin은 오픈소스가 아닙니다. T3 코드는 오픈소스입니다. 즉, 우리 중 한 명이 이 문제를 해결할 수 있지만 다른 한 명은 할 수 없다는 뜻입니다."라고 말했습니다.

Ox Alpha는 이제 GLM 5.3 Flash로 식별되며, 하루 100조 토큰의 용량을 자랑하며 엄청난 스케일링 기능을 선보였습니다. Theo는 자신이 가장 많이 사용한 날에는 70억 토큰 이상을 처리했다고 언급했습니다. 총 3200억 개의 매개변수와 180억 개의 활성 매개변수를 가진 이 모델은 Gemini Flash 2 및 GPT-4o와 유사하거나 그 이상의 성능을 보여주며 컴퓨팅 효율성과 성능에서 상당한 도약을 예고합니다. Theo는 "우리는 하루에 100조 토큰을 처리할 수 있는 용량을 가지고 있습니다... 제가 가장 많이 사용한 날에는 70억 토큰 이상을 처리했습니다."라고 말했습니다.

그러나 일관된 실패를 인지하고 깨진 위임을 기다리지 않고 직접 GitHub 검사로 지능적으로 폴백하여 자율 디버깅 기능을 시연했습니다. 이 자체 수정 덕분에 에이전트는 약 20분 만에 수백 개의 풀 리퀘스트 감사를 성공적으로 완료하여 고급 문제 해결 능력을 강조했습니다. Theo는 "하위 에이전트 오프 실패가 계속 발생한다는 것을 인지했습니다. 그래서 깨진 위임을 기다리지 않고 직접 감사하는 것으로 폴백했습니다."라고 말했습니다.

Theo는 개인이 간단한 작업을 위해 지속적으로 가장 높은 모델 설정과 추론 옵션을 선택하는 일반적인 사용자 오해를 강조했습니다. 그는 이러한 경향이 불필요한 비용과 사용량 크레딧의 빠른 소모로 이어진다고 지적했습니다. Theo에 따르면, 최악의 사용자들은 종종 가장 비싼 옵션을 선택하고, 사용량 제한에 빠르게 도달하면 좌절감을 느끼는데, 이는 특정 작업 복잡성에 대한 적절한 모델 선택에 대한 이해 부족을 나타냅니다. Theo는 "제가 가장 흔히 보는 것은 사람들이 항상 가장 높은 모델 설정과 가장 높은 추론 옵션을 사용하는 것입니다... 최악의 사용자들은 항상 가장 크고 비싼 옵션을 선택하고, 사용량이 소진되면 정말 화를 냅니다."라고 말했습니다.

새로운 모델은 1,000개 이상의 풀 리퀘스트를 약 12센트에 감사하는 놀라운 비용 효율성을 보여주었습니다. 이 성능은 유사한 에이전트 작업에 일반적으로 100달러 이상이 드는 다른 모델들을 훨씬 능가합니다. 높은 효율성은 주로 광범위한 캐싱 메커니즘 덕분이며, 이는 귀중한 통찰력을 유지하면서 운영 비용을 크게 줄입니다. Theo는 "여기서 저는 유용한 통찰력을 위해 50센트를 쓰는 큰손이었습니다. 아닙니다. 12센트였습니다. 유용한 통찰력을 얻는 데 12센트였습니다."라고 말했습니다.

Theo는 실제로 사용하기 즐거운 작고 저렴한 AI 모델의 출현이 사용자 경험에 상당한 개선을 가져왔다고 언급했습니다. 그는 이러한 모델이 지시대로 작동하여 원하는 결과를 얻기 위해 AI와 '싸울' 필요가 없다고 강조했습니다. 이러한 균형은 간단한 에이전트 코딩 작업에 탁월하며, 일반적으로 작고 성능이 떨어지는 모델과 관련된 좌절감 없이 효율성을 제공합니다. Theo는 "이것은 제가 사용해 본 소형 저가형 모델 중 가장 즐겁게 사용할 수 있는 모델입니다. 지시대로 작동합니다."라고 말했습니다.

GLM-5.3 플래시는 인상적인 성능을 보여주었으며, 심지어 일부 프론티어 AI 모델보다 우수했습니다. 출력 100만 개당 20센트밖에 들지 않았습니다. Theo는 특히 모델 생성을 통해 게임을 3D로 자율적으로 포팅하는 데 성공한 점을 강조했습니다. 이 기능은 모델의 상당한 성능을 강조하며, 3000억 개의 매개변수 모델임에도 불구하고 높은 비용이 항상 우수한 성능과 동의어는 아님을 입증합니다. Theo는 "프론티어 AI가 출력 100만 개당 20센트짜리 모델보다 더 나쁜 작업을 하는 경우도 있었습니다."라고 말했습니다.

동시에 V4 플래시는 주로 비전 기능 부족으로 인해 한 티어 하향 조정했습니다. 이러한 재평가는 모델 평가에 대한 실용적인 접근 방식을 반영하여 원시 지능보다는 유용성을 티어 배치에 대한 주요 지표로 강조합니다. Theo는 "여기서 제가 의미하는 바를 가장 쉽게 전달하는 방법은 53 플래시를 Soul 옆으로 옮기고, 훨씬 더 고통스러운 일이지만 V4 플래시도 한 티어 내리는 것입니다."라고 말했습니다.

Theo는 워크플로우 최적화의 핵심 중 하나가 특히 의욕을 저하시키는 테스트 실패로 인한 동기 부여 상실을 방지하는 것이라고 강조했습니다. 그는 수동 구현 전에 AI를 사용하여 코드를 감사함으로써 불가능하거나 버그가 있는 솔루션에 낭비되는 노력을 방지합니다. 이 전략은 사전 테스트 작업을 AI 에이전트에 위임하여 개발자가 더 생산적인 작업에 집중하고 사기를 유지할 수 있도록 하여 마찰을 줄입니다. Theo는 "제가 최적화하는 것 중 하나는 동기 부여 상실을 방지하는 것입니다."라고 말했습니다.

'정착' 기능은 사이드바에서 스레드를 제거하는 반면, '스누즈' 기능은 사용자가 지정된 시간까지 작업을 숨길 수 있도록 합니다. 예를 들어, 작업을 3시간 동안 스누즈할 수 있습니다. 이 접근 방식은 적극적이고 실행 가능한 작업을 우선시하여 수동적인 컨텍스트를 최소화하고 관련 작업만 보이도록 하여 인지 부하를 줄입니다. Theo는 "이것을 3시간 동안 스누즈할 수 있습니다. 그러면 밤 9시 36분까지 다시 나타나지 않을 것입니다."라고 말했습니다.

Theo는 원격 머신에서 테스트할 필요성을 인식하고 Tailscale을 통한 원격 테스트를 가능하게 하기 위해 번들링 프로세스를 크게 개편했습니다. 여기에는 내장 Tailscale 공유 개발 명령을 통합하는 데 상당한 시간과 토큰 소모가 포함되었습니다. 이 이니셔티브는 원격 개발 환경에서 자주 발생하는 느린 네트워크 문제를 극복하고 원격 머신에서 변경된 사항을 실제 브라우저로 테스트할 수 있도록 하여 효율성과 디버깅 기능을 향상시키는 것을 목표로 합니다. Theo는 "이것을 제 컴퓨터에서 원격으로 테스트할 방법이 필요했습니다. 그래서 내장 Tailscale 공유 개발 명령을 추가하는 데 아마도 너무 많은 시간과 토큰 소모를 들였습니다."라고 말했습니다.

Theo는 안정적인 릴리스 전에 버그를 잡는 안전망으로서 야간 빌드의 효과를 강조했습니다. 이러한 빌드는 3시간마다 발생하며, 구현된 모든 변경 사항은 그 시간 내에, 종종 더 짧은 시간 내에 야간 빌드에 통합됩니다. 이 빠른 주기와 버그 보고를 위한 전용 사용자 기반이 결합되어 안정적인 버전의 회귀를 방지하고 소프트웨어의 지속적인 개선 및 안정성을 보장합니다. Theo는 "그 해결책은 바로 여기, 야간 빌드입니다. 이 용어에 오해하지 마십시오. 야간 빌드는 우리에게 3시간마다 발생합니다. 그래서 변경 사항이 적용되면 그 변경 사항은 3시간 이내에, 종종 더 짧은 시간 내에 야간 빌드로 출시됩니다."라고 말했습니다.

Theo는 VRAM 용량이 GPU 가치의 주요 차이점이며, 특히 소비자용 및 기업용 카드 간에 그렇다고 설명했습니다. 그는 비오류 수정 GDDR7 32GB를 탑재한 RTX 5090과 훨씬 더 높은 비용으로 오류 수정 GDDR7 96GB를 제공하는 RTX Pro 6000을 비교했습니다. 이러한 불일치는 칩 자체가 가격의 유일한 결정 요인이 아니며, 오히려 VRAM의 양과 품질, 특히 오류 수정 기능이 기업용 GPU 가치를 주도한다는 점을 강조합니다. Theo는 "글쎄요, 칩만이 중요한 것은 아닙니다. 96GB의 GDDR7이 중요했습니다. 5090은 32GB의 GDR7만 얻고 오류 수정 기능이 없습니다."라고 말했습니다.

Theo는 Nvidia의 DGX Spark와 비교했을 때 RAM, 메모리 대역폭 및 컴퓨팅 성능에 대한 "타협 없는" 옵션이라고 강조했습니다. M5 Ultra는 M1 Ultra보다 10배 빠른 최초 토큰 시간 주장을 통해 상당한 성능 향상을 약속하며, 고성능 컴퓨팅 시장에서 매력적인 대안을 제공합니다. Theo는 "따라서 10만 달러의 MSRP와 곧 출시될 현재 가격으로 Nvidia가 제공하는 다른 어떤 옵션보다 훨씬 많은 RAM을 얻을 수 있습니다."라고 말했습니다.

Nvidia CEO Jensen Huang은 맞춤형 추론 칩과의 경쟁에 대해 '두려워하지 않는다'는 생각을 자신 있게 일축했습니다. 그는 Nvidia의 우수한 공급망, 기술 규모 및 성장하는 시장 점유율을 핵심 강점으로 강조했습니다. Huang은 XPU 프로젝트의 확산이 업계 사이클의 정상적이고 예상되는 부분이며, Nvidia의 로드맵과 혁신적인 솔루션을 지속적으로 제공할 수 있는 능력에 대한 광범위한 자신감을 반영한다고 주장했습니다. Jensen Huang은 "우리가 제공할 수 있는 것에 대해 너무나 자신감이 있기 때문에 어떤 것도 개인적으로 받아들일 필요가 없습니다."라고 말했습니다.