앤트로픽의 소네트 5.5: 놀랍도록 훌륭하지만 가치는 의문

앤트로픽은 소네트 5.5를 예상치 못하게 출시했습니다. 화자는 오푸스의 가격과 가치에 만족했기 때문에 이 모델이 중요할 것이라고는 예상하지 못했습니다.

화자의 이전 즐겨찾기 코드 모델은 페이블 5.1이었지만, 오푸스 5.5가 지난 한 주 동안 그의 워크플로우에서 지배적인 부분이 되었기 때문에 새로운 소네트 출시는 그에게 놀라움이었으며, 그는 이를 OpenAI에 대한 전략적 움직임으로 보고 있습니다.

그러나 화자는 소네트 5.5를 현대 시대의 요구에 부합하는 '저렴한' 앤트로픽 옵션으로 옹호합니다.

이 모델은 OpenAI의 GPT-6 소울의 직접적인 경쟁자로 자리매김하고 있으며, 화자는 이것이 실망스러운 제품임을 암시합니다.

이 기능은 패키지 설치 또는 로직 수정과 같은 특정 변경 사항에 대한 자동 요약을 제공하며, 고위험 변경 사항을 식별하는 데 도움이 되는 '보안 위험 범위' 다이어그램을 포함합니다.

활동 보기는 PR 스레드에 대한 최신 정보를 파악하는 속도를 크게 높여 표준 GitHub 인터페이스보다 더 효율적인 대안을 제공합니다.

소네트 5.5는 터미널 벤치 4에서 70.6%의 점수를 기록했는데, 이는 이전 10.3%에서 크게 증가한 수치로, 화자는 소네트 모델에 대해 "놀라운" 결과라고 설명했습니다.

벤치마크에 대한 일반적인 회의론에도 불구하고, 이 모델은 장기적인 작업 및 이미지 이해에서 높은 능력을 보여주며, 심지어 스크린샷으로 포켓몬 레드를 플레이하는 데 있어 이전 모델을 능가했습니다.

이전에는 이러한 모델들이 할당된 작업을 제대로 이해하지 못하는 경우가 많았지만, 현재 버전은 오푸스보다 빠르지만 약간 덜 지능적인 버전처럼 작동합니다.

소네트 5.5는 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러이며, 캐싱 읽기는 토큰 100만 개당 20센트입니다.

페이블 5.1 및 오푸스 5.5와 같은 이전 앤트로픽 모델과 달리 소네트 5.5는 캐시 읽기 비용에 대한 상당한 할인을 받지 못했습니다.

캐시 읽기는 더 높은 계층의 모델에 비해 소네트 5.5의 총 비용에서 불균형적으로 큰 비율을 차지하며, 이는 일상적인 에이전트 코드 작업에 있어 상당한 우려 사항입니다.

소네트 5.5의 캐시 읽기 비용은 가격 인하에 대한 기대에도 불구하고 여전히 높으며, 출력 토큰은 여전히 미미한 비용으로 남아 있습니다.

실제 코딩 작업에서 소네트 5.5는 페이블 5.1만큼 비싸서 오푸스보다 비용 효율성이 떨어집니다.

이러한 강제적인 과도한 사고는 'X High' 모드에 비해 토큰 사용량을 1,500%까지 급증시킬 수 있습니다.

증가된 토큰 소비는 종종 성능 저하와 모델의 부정확한 답변 가능성 증가로 이어집니다.

반대로, 추론 수준을 'High' 또는 'Medium'으로 낮추면 비용이 각각 0.18달러와 0.09달러로 크게 절감됩니다.

더 높은 비용에도 불구하고, 소네트 5.5는 성능에서 '멍청한 급증' 사례가 적기 때문에 일상적인 코딩에 선호됩니다.

이는 특정 시나리오에서 소네트 5.5를 GPT-6 (Soul)에 비해 유리하게 포지셔닝하며, 화자는 일반적으로 GPT-6 (Soul)을 실망스럽게 생각합니다.

컴퓨터 사용에서 소네트 5.5의 강력한 성능에도 불구하고, 화자는 궁극적으로 고급 컴퓨터 상호작용이 필요한 작업에 Astra를 선호합니다.

소네트 3.5는 커서 벤치에서 작업당 271,920 토큰을 사용했는데, 이는 오푸스(218K) 및 제미니 1.5 플래시(162K)보다 훨씬 높은 수치입니다.

이 토큰 사용량은 GPT-4o 및 xAI의 Grok보다 5배 이상 많습니다.

초당 토큰(TPS) 속도가 더 높음에도 불구하고, 과도한 토큰 소비는 실제 작업 완료 시간을 길게 만들며, 소네트가 오푸스가 36분 만에 완료한 작업을 43분 만에 완료했습니다.

비평가들은 Witch AI 디자인 쇼케이스에서 소네트 3.5의 애니메이션과 카드 디자인을 '끔찍하다' 또는 '지루하다'고 평가했으며, 모델은 클로드 3.5 하이쿠에 비해 가독성과 레이아웃 일관성에서 어려움을 겪었습니다.

클로드 3.5 하이쿠는 여전히 프론트엔드 디자인을 위한 최고의 모델로 간주되며, 오푸스는 더 나은 조종성 및 디자인 지시 준수로 유명합니다.

이러한 단점에도 불구하고, 소네트 3.5는 전반적인 기능에서 OpenAI 및 xAI의 경쟁사들을 여전히 크게 능가합니다.

모델의 높은 토큰 사용량, 부실한 프론트엔드 성능, 그리고 더 긴 실제 완료 시간은 클로드 코드 내에서 하이쿠 또는 오푸스와 같은 대안보다 선택될 이유를 정당화하지 못합니다.

이 모델은 특정 연구 중심의 아키텍처 작업에 대해 뛰어난 비용 효율성을 보여줍니다.

이러한 특수화된 역할을 통해 소네트는 사용자를 위한 주요 인터페이스가 되지 않으면서 효율적으로 기여할 수 있습니다.

오푸스는 거의 두 배의 시간이 걸렸고, Astra는 동일한 작업을 위해 거의 세 배의 시간이 필요했습니다.

이러한 속도는 실행 전에 작업을 신속하게 범위 지정하고 계획해야 하는 에이전트에게 소네트를 이상적인 유틸리티로 만듭니다.

테오는 현재 TypeScript 컴파일러를 Rust로 재작성하는 복잡하고 장기적인 프로젝트에 참여하고 있습니다.

그는 처음에 소네트의 논리적이고 스레드별 동작을 의도 이해 능력의 퇴보로 오해했습니다.

그러나 소네트는 대화 스레드의 특정 패턴을 올바르게 따랐으며, 외부 의도를 추측하려 하지 않고 숫자적 측면에 초점을 맞춰 160만 줄의 레거시 코드를 성공적으로 삭제했습니다.

몇 달 전 모델과 비교할 때, 현재 생성 모델은 이제 사용 가능하고 명확하게 정의된 3D 모델을 생성합니다.

생성된 물고기와 환경 요소는 독특하고 일관된 디자인을 선보이며 예술적 일관성의 상당한 개선을 나타냅s니다.

시뮬레이션은 사용자 노트북에서 초당 120프레임으로 원활하게 실행되며, AI 생성 콘텐츠에 대한 견고한 게임 메커니즘을 보여줍니다.

시연된 게임 데모는 단 40분 만에 단 몇 달러의 비용으로 생성되었습니다.

화자는 전체 API 가격이 적용될 경우 총 비용이 약 16달러에 달할 것이라고 추정하며, 이는 그가 더 나쁜 게임에 지불한 금액보다 적다고 언급합니다.

그는 이를 월 200달러의 클로드 프로 요금제와 대조하는데, 이 요금제는 헤비 사용자에게 상당한 가치를 제공하며, 대략적인 분석에 따르면 주당 2,300달러 상당의 사용량을 제공합니다.