Fable 5.1 vs. GPT-6 Astra: 논쟁은 끝났다

이 성능은 Fable 5.1 비용의 3분의 1 미만으로 달성되었으며, 과학 작업 분야에서 리더십의 중요한 변화를 의미합니다.

Fable 5.1은 실제 과학 애플리케이션에서 이전 모델인 Fable 5보다 상당한 개선을 보였지만, Astra의 효율성이나 출력 품질에는 미치지 못했습니다. Theo는 OpenAI의 후처리 우수성이 이러한 상당한 과학적 발전의 원동력일 가능성이 높다고 분석합니다.

"낮은 Astra는 54.3점을 얻었고 단 11달러만 들었으며, Anthropic이 처음으로 목록에 올린 벤치마크에서 최대 Fable 5.1보다 3분의 1 미만의 가격으로 더 높은 순위를 차지했습니다."

Astra는 Fable 5.1과 비교하여 3D 렌더링 기능에서 "세대 격차"를 보여주며 상당한 발전을 이루었습니다. 복잡한 3D 콘텐츠 생성 성능은 "차세대" 솔루션임을 입증합니다.

3D 생성에서 Astra가 지배적임에도 불구하고, Fable 5.1은 복잡한 상호 작용, 애니메이션 및 미세 조정이 필요한 영역에서 우위를 유지합니다. 이 차이점은 Astra가 핵심 3D 콘텐츠를 생성하는 반면, Fable 5.1은 이를 정제하는 데 탁월하다는 것을 시사합니다.

Theo는 초기 3D 생성 작업에 Astra를 사용하고, 이어서 Fable 5.1을 사용하여 후속 정제 및 상세 조정을 수행하는 하이브리드 워크플로우를 제안합니다. 이 접근 방식은 두 모델의 강점을 활용합니다.

블렌더용 3D 목업 제작과 같은 실제 응용 프로그램은 이러한 모델이 단순한 데모를 넘어 실제 생산 파이프라인에서 실질적인 유용성을 제공하도록 발전하고 있음을 보여줍니다.

컴퓨터 사용 작업에서 Astra의 효율성과 속도는 놀라울 정도로 발전하여 Fable 5.1보다 훨씬 우수합니다. Theo에 따르면 그 기능은 너무 앞서서 비교 자체가 거의 우스꽝스러울 정도입니다.

이러한 개선은 Astra의 모델 아키텍처 발전과 macOS의 Codex에 대한 전략적 업데이트 모두에서 비롯되었으며, 운영 효율성을 향상시켰습니다. 이 조합을 통해 Astra는 복잡한 컴퓨터 작업을 더 정밀하고 빠르게 처리할 수 있습니다.

Theo는 Astra를 지속적으로 실행하기 위해 전용 Mac Mini를 사용하여 수동 개입 없이 24시간 자율 컴퓨터 작업을 가능하게 합니다. 이 설정은 Astra의 신뢰성과 고급 자동화 잠재력을 강조합니다.

Fable 5.1은 일부 컴퓨터 사용 시나리오에서 여전히 유능하지만, 이전 OpenAI 모델을 연상시키는 '이상한 오류'를 자주 보입니다. 이러한 불일치는 Astra의 더 강력한 기능에 비해 성능과 신뢰성을 저해합니다.

Fable 5.1과 GPT-6 Astra는 모두 이전 모델에 비해 출력물의 가독성을 크게 향상시켰습니다. 이제 사용자들은 광범위한 편집의 필요성을 덜 느끼며, 이는 더욱 세련된 초안을 시사합니다.

향상된 가독성은 상투적인 문구와 불필요한 장황함을 줄여 콘텐츠를 더 간결하고 직접적으로 만드는 "불필요 제거" 품질 덕분입니다. 이 개선은 편집 프로세스를 간소화합니다.

이러한 발전에도 불구하고 Theo는 두 모델 모두 아직 Kimi K2의 카피라이팅 품질과 견줄 수 없다는 "뜨거운 의견"을 가지고 있습니다. 그는 Kimi K2가 미묘하고 고품질의 콘텐츠 생성 측면에서 여전히 골드 스탠다드라고 주장합니다.

"제 생각은 둘 다 여전히 형편없고, Kimmy K2를 능가하는 것은 없다는 겁니다."

TypeScript-to-Rust 재작업에서 저자는 Soul을 사용하여 초기에는 30%의 테스트 정확도만 달성했습니다. 이 낮은 정확도는 고급 AI 지원 없이는 복잡한 언어 변환의 어려움을 강조했습니다.

Astra로 전환하자 정확도는 80% 이상으로 크게 향상되어 코드 번역 및 리팩토링에서 Astra의 강력한 기능을 입증했습니다. 작업은 비교적 빠르게 완료되어 Astra의 효율성을 강조했습니다.

광범위한 반복 및 미세 조정에도 불구하고 재작업 프로젝트의 성능은 82.6% 정확도에서 정체되었습니다. 이 정체는 Astra가 상당한 향상을 제공하지만, 이러한 복잡한 재작업에서 완벽한 정확도를 달성하는 것은 고급 모델에게도 여전히 도전 과제임을 시사합니다.

"Astra로 80% 이상을 달성할 수 있었습니다. 그리고 그렇게 오래 걸리지도 않았습니다."

Astra는 기존 UI 디자인 요소를 예기치 않게 폐기하고 일반적인 "기술 슬롭" 미학을 선택했습니다. 이러한 행동은 이전에 확립되었던 맞춤형 브랜딩 및 정교한 레이아웃의 손실로 이어졌습니다.

모델은 기존 UI 코드를 재사용하라는 명시적인 지침을 무시했으며, 이는 제공된 제약 조건을 준수하는 데 심각한 실패를 나타냅니다. 확립된 디자인 패턴을 무시한 결과는 기능적으로 손상된 애플리케이션이었습니다.

그 결과는 사용 불가능한 레이아웃과 브랜드 정체성의 완전한 상실이었으며, 신중하게 제작된 디자인을 "엉망진창의 흑백 앱"으로 대체했습니다. 이는 정확한 UI 복제가 필요한 작업에 Astra를 사용할 때의 중요한 단점을 강조합니다.

"우리가 이미 완료하고 많은 돈을 지불한 모든 훌륭한 UI 작업을 그냥 버리고 엉망진창의 흑백 앱에 있는 텍스트 슬롭을 선호했습니다."

이 효율성은 개발 워크플로우를 간소화하고 오버헤드를 줄입니다.

Fable의 많은 PR은 생성 즉시 배포 준비가 되어 있어 높은 수준의 코드 품질과 모범 사례 준수를 나타냅니다. 이러한 준비성은 기능 및 버그 수정의 제공을 가속화합니다.

Astra는 여전히 강력한 모델이지만, 코드 생성은 병합되기 전에 더 많은 수동 수정 및 정제가 필요한 경우가 많습니다. 이는 개발자의 부담을 증가시키고 배포 시간을 연장합니다.

Theo는 분명하게 "결정은 쉽습니다. Fable 5.1입니다. Fable 5.1은 훨씬 더 병합 가능한 코드를 작성합니다."라고 말합니다. 이는 실제 코딩 환경에서 Fable의 분명한 이점을 강조합니다.

OpenAI의 잘 알려진 옹호자인 Ben Davis는 Fable 5.1이 실제 코딩 작업에 대한 자신의 예상을 뛰어넘는다고 인정했습니다. 그는 예상보다 훨씬 자주 사용하고 있다고 인정하며 Fable의 실용적인 유용성을 강조했습니다.

오랫동안 Astra를 사용해 온 사용자들조차 코딩 요구 사항을 위해 Fable에 점점 더 의존하고 있습니다. 숙련된 사용자들 사이에서 이러한 선호도 변화는 개발자 워크플로우에서 Fable 5.1의 신뢰성과 효율성에 대한 명성이 높아지고 있음을 보여줍니다.

Fable 5.1은 효율적인 소프트웨어 개발의 핵심 요소인 코드 병합성 측면에서 거의 완벽하다고 설명됩니다. 깨끗하고 쉽게 통합되는 코드를 생성하는 능력은 중요한 이점입니다.

"벤...은 Fable이 실제 코드에 대해 예상보다 훨씬 낫다고 생각하며 예상보다 훨씬 더 많이 사용하고 있다고 인정했습니다."

이를 통해 초점이나 일관성을 잃지 않고 복잡하고 다면적인 작업을 수행할 수 있습니다.

Astra의 핵심 강점 중 하나는 "스티어링" 능력으로, 작업 진행을 멈추지 않고 작업 중간에 사용자 입력을 수락할 수 있습니다. 이러한 동적 상호 작용은 실시간 조정 및 안내를 가능하게 하여 워크플로우 유연성을 향상시킵니다.

명확화를 기다리는 동안 진행을 차단할 수 있는 다른 모델과 달리, Astra는 워크플로우 프로세스 중에 선제적으로 명확화 질문을 할 수 있습니다. 이 기능은 모호성을 해결하면서 연속적인 작업을 보장하고 추진력을 유지합니다.

"Astra는 작업 중에도 컨텍스트에 임의로 삽입되는 것을 매우 잘 처리하고 작업 내용을 놓치지 않습니다."

Astra는 특히 작업 체인의 후속 단계에서 정의된 지침을 무시하여 "스킬 문제"를 자주 보입니다. 이러한 불일치는 일관된 지침 준수에 의존하는 복잡한 다단계 작업에 대한 신뢰성을 떨어뜨립니다.

반대로 Fable 5.1은 주어진 컨텍스트를 기반으로 스킬을 안정적으로 불러오고 적용합니다. 스킬에 합리적인 설명이 있고 진행 중인 작업과 관련이 있다면 Fable은 이를 정확하게 통합하여 뛰어난 상황 인식을 보여줍니다.

이러한 일관된 스킬 적용은 Fable 5.1을 스킬 상태 유지가 필요한 복잡한 작업 체인에 훨씬 더 신뢰할 수 있게 만듭니다. Theo에 따르면 사용자는 "Fable로 이 문제에 대해 생각할 필요가 없습니다."

"Fable에 대해 이 문제에 대해 전혀 생각할 필요가 없습니다. 스킬에 합리적인 설명이 있고 진행 중인 작업에 유용하다면 Fable은 그것을 정확하게 불러와 적용합니다. 그냥 그렇게 합니다."

Anthropic은 Fable 5.1의 캐시 읽기 비용을 줄이기 위한 조치를 취하여 특정 작업을 더 경제적으로 만들었습니다. 그러나 Fable 5.1의 캐시 쓰기 비용은 여전히 매우 높아 전반적인 운영 비용에 영향을 미칩니다.

원시 캐시 읽기 가격보다는 토큰 효율성이 실제 비용을 결정하는 데 더 중요한 요소로 작용합니다. 작업당 처리되는 토큰 수는 이러한 모델을 장기 프로젝트에 사용하는 경제적 타당성에 상당한 영향을 미칩니다.

GPT-6 Astra는 실제 벤치마크에서 Fable 5.1에 비해 우수한 토큰 효율성을 보여 동일한 작업에 더 적은 토큰을 소비합니다. 이러한 효율성은 사용자에게 직접적인 운영 비용 절감으로 이어집니다.

"토큰 효율성. GBD6 Astra는 벤치마킹된 모델 중 가장 토큰 효율적인 모델 중 하나입니다... Astra는 Fable 5.1이 거의 8만 토큰으로 수행한 작업을 2만 7천 토큰으로 수행했습니다."

이러한 이점은 특히 에이전트 워크플로우에서 두드러집니다.

Anthropic의 계획은 한도 증폭을 더욱 줄일 것으로 예상되어 Codeex와 Claude 간의 가치 격차를 넓히고 Codeex의 경제적으로 더 유리한 옵션으로서의 입지를 공고히 할 것입니다.

사용자는 에이전트 워크플로우 시나리오에서 가장 높은 투자 수익을 달성하기 위해 Codeex 구독을 우선시하는 것이 강력히 권장됩니다. Theo는 Claude가 더 나은 거래라고 주장하는 사람에게 유머러스하게 도전합니다.

"솔직히 말해서, 투자하는 돈에 대한 최대 수익을 얻는 것에 관심이 있고 코덱스 구독 외에 다른 것을 하고 있다면, 저는 당신에게 Claude가 더 나은 거래라고 설득한 사람을 만나서 고용하고 싶습니다."

Astra는 우수한 토큰 효율성을 보여주는데, 이는 더 적은 토큰으로 더 많은 작업을 처리한다는 의미이며, 이는 직접적으로 더 낮은 운영 비용으로 이어집니다. 이러한 효율성은 사용량 소비도 최소화하여 사용자가 할당된 한도 내에서 더 많은 것을 달성할 수 있도록 합니다.

발표자는 상당한 효율성 격차를 보고하며, Astra가 Fable보다 약 4배 더 효율적이라고 추정합니다. 이 상당한 차이는 비용과 수행할 수 있는 작업량 모두에 영향을 미칩니다.

Astra는 또한 Codeex를 통해 일반적으로 더 관대한 사용 한도를 제공하여 그 가치 제안을 더욱 향상시킵니다. 이는 Fable과 대조되는데, Fable의 한도는 종종 더 제한적이며, 특히 특정 요금제에서는 Astra의 100%에 비해 할당량이 50%로 제한됩니다.

Astra의 빈번하고 예상치 못한 리셋은 추가적인 가치를 제공하여 사용자가 엄격한 한도에 도달하지 않고도 서비스를 활용할 수 있는 더 많은 기회를 제공합니다. 이러한 유연성은 지속적이고 많은 사용에 중요한 이점입니다.

이러한 비난은 종종 글로벌 리셋 시기에 대해 유포됩니다.

리셋은 불규칙한 간격으로 자주 발생하며, 때로는 사용자에게 사전 경고가 제공되기도 하여 의도적인 방해라는 주장을 반박합니다. 이러한 가변성은 타이밍 뒤에 악의적인 동기보다는 기술적인 동기를 시사합니다.

"누군가 그가 이전 글로벌 리셋 후 46시간 만에 악의적으로 리셋했다고 비난했는데, 이는 은행 리셋이 예정된 시점과 관련이 있습니다. 이는 전혀 사실이 아닙니다."

Fable은 일관되게 높은 품질의 출력을 제공하며, 변동은 일반적으로 양방향으로 2포인트 이내로 제한됩니다. 이러한 신뢰성 덕분에 Fable은 지속적인 프로젝트에 대해 예측 가능하고 신뢰할 수 있는 선택입니다.

대조적으로 Astra는 극심한 성능 "스파이크"가 특징이며, 놀랍도록 훌륭하거나 치명적으로 결함이 있는 결과를 제공할 수 있습니다. 이러한 예측 불가능성은 일관된 배포에 상당한 어려움을 초래합니다.

Theo는 Astra를 사용하는 경험을 천재성에 "입이 떡 벌어지거나" 완전한 실패로 인해 자원을 낭비하는 동등한 기회라고 묘사합니다. 이러한 가변성은 상당한 사용자 스트레스와 재정적 손실을 초래할 수 있습니다.

"Fable의 품질 기준은 비교적 일관됩니다. 약간 오르내리지만, 어느 방향으로든 2포인트 이상은 아닙니다. Astra에 프롬프트를 보내면, 믿을 수 없을 정도로 놀라워서 입이 떡 벌어지거나, 루프에서 실행되고 아무것도 출하하지 않다가 웹사이트를 망가뜨리는 데 천 달러를 썼다는 사실을 이해할 수 없어서 입이 떡 벌어질 확률은 반반입니다."

Astra는 Fable에 비해 보안 거부가 더 자주 발생하며, 이는 역사적으로 Fable에 대한 사용자 불만을 야기했던 지점입니다. Astra의 이러한 강화된 주의는 잠재적으로 민감한 요청에 대한 더 엄격한 접근 방식을 시사합니다.

코딩 작업의 경우 일관된 성능과 신뢰할 수 있는 코드 병합성으로 인해 Fable이 선호되는 기본값입니다. 배포 준비가 된 코드를 생성하는 능력은 개발 워크플로우에서 매우 중요합니다.

반대로 Astra는 컴퓨터 사용 및 3D 렌더링 기능에서 우수한 효율성을 활용하여 일반적인 컴퓨터 기반 작업에 선호되는 기본값입니다. 이러한 구별은 직접적인 경쟁보다는 모델의 상호 보완적인 강점을 강조합니다.

Theo는 두 모델이 상호 배타적이지 않고 상호 보완적이라고 결론지으며, 다양한 유형의 작업에서 효율성과 출력 품질을 극대화하기 위해 함께 사용하는 것을 권장합니다.