Anthropic의 Opus 5.5: AI 성능의 큰 도약

발표자는 Anthropic의 초기 Opus 릴리스, 특히 Opus 5에 상당한 불만을 나타내며 Opus 4.5는 혁신적이었지만 이후 버전은 오히려 부담처럼 느껴졌다고 말했습니다.

비판의 핵심은 텍스트 출력의 '완전한 쓰레기' 수준과 생성된 코드의 일관성 없는 신뢰성으로, 종종 중요한 세부 사항을 놓쳤습니다.

발표자는 처음에는 Opus 5를 둘러싼 과대광고에 현혹됐지만 곧 일상 업무에서의 실질적 단점을 깨달았다고 인정했습니다.

Opus 5.5는 Fable 5.1 수준의 성능을 내면서도 Opus 5보다 실행 비용이 40% 저렴합니다.

입력 토큰 가격은 백만 개당 4달러, 출력 토큰은 백만 개당 20달러로 더 효율적인 가격 구조를 반영합니다.

캐시 읽기는 백만 개당 0.20달러로 60% 저렴하며, 모델은 이전 버전보다 약 30% 빠르게 처리해 전반적인 효율성 향상에 기여합니다.

Opus 5.5는 이전 모델들보다 장시간 코딩 세션 중 더 자연스럽고 효과적으로 소통합니다.

향상된 소통 방식은 Opus 5 출력 품질에 대한 이전 피드백을 직접 해결하며, 초기 테스터들은 더 인간적이고 직관적인 문체를 강조했습니다.

Opus 5.5는 Artificial Analysis 벤치마크에서 53점을 기록해 Astra의 50.9점을 넘어서며 의미 있게 더 나은 결과를 보여줬습니다.

높은 설정의 GBD6 Astra보다 비용이 더 많이 들지만 Opus 5.5가 더 우수한 성능을 제공합니다.

토큰 비효율성은 여전히 모델의 높은 운영 비용의 주요 원인이며, 성능 수준은 medium, high, XH high 설정이 효과적이고 low와 max 설정은 권장되지 않습니다.

이 ZDR 기능은 Opus 5.5를 기업 환경, 특히 적절한 ZDR이 없는 Fable이나 Mythos 같은 대안을 사용할 수 없는 민감한 기업에 더 실행 가능한 선택으로 만듭니다.

Opus 5.5는 이전 Anthropic 모델에서 추론 수준이 시스템 프롬프트 최상단에 고정되던 중요한 문제를 해결했습니다.

이 수정으로 세션 중간에 추론 수준을 변경해도 캐시가 무효화되지 않으며, 이전에는 효율성에 영향을 미쳤습니다.

이 수준은 Fable의 6달러 대비 훨씬 저렴한 1.34달러로 Fable 5.1 수준의 지능을 달성해 상당한 가치를 제공합니다.

'최대 노력' 설정은 성능의 비례적 향상 없이 무한 루프와 불필요한 토큰 소비를 초래한다는 비판을 받습니다.

'High'와 'Max' 노력 설정 간 비교에서 토큰 사용량의 기하급수적 증가가 드러났습니다.

슬라이더의 작은 조정인 XH High에서 Max 노력으로의 전환은 작업당 토큰 사용량을 약 300에서 거의 5,000으로 급증시켜 거의 10배 증가를 나타냈습니다.

이런 극적인 비용 증가에도 성능 이득은 전체 점수 1% 향상에 불과해 미미했고, 'Max' 설정을 사용하지 말라는 강한 권고로 이어졌습니다.

발표자는 Opus 5.5에 로컬 저장소를 찾아 버그를 수정하라고 지시해 성공적으로 테스트했습니다.

모델은 저장소 식별, 오래된 로컬 클론 업데이트, 작업 트리 생성, 필요한 수정이 담긴 풀 리퀘스트(PR) 제출, 검증까지 포괄적인 일련의 작업을 수행했습니다.

버그 식별부터 PR 병합까지 전체 자동화 워크플로는 발표자의 주간 토큰 한도의 1%만 소비했습니다.

이는 복잡한 다단계 개발 작업을 효율적이고 자율적으로 처리하는 모델의 능력을 보여줍니다.

Fable 5.1은 고급 애니메이션, 세련된 디자인 미학, 꼼꼼한 레이아웃 디테일로 주목받아 발표자는 고급 디자인 작업과 마케팅 페이지에 'GOAT'로 간주하지만, Opus 5.5는 일반 용도의 기본으로 남아 있습니다.

사용자 'Mia'는 Opus 5.5로 100개의 HTML 페이지를 생성하는 테스트를 진행하고 자신이 테스트한 최고의 모델이라고 선언했는데, 이는 때때로 발표자의 견해와 다릅니다.

Mia가 제공한 예시에는 복잡한 레이아웃과 스큐어모픽 종이 스타일 디자인이 포함되어, 미학적으로 복잡한 웹 구성 요소 생성에서 모델의 상당한 능력을 보여줍니다.

모델은 네이티브 기술 구현보다 Three.js 웹 데모에서 더 나은 성능을 보이며, 개발자 Bjan Bowen은 'Skate Game Bench'에서 성공적인 성능을 확인했고, 업계의 최근 3D 생성 진전은 '미친 수준'이라고 묘사됐습니다.

발표자가 중간 노력 출력을 'X high' 추론으로 다듬은 후 상세한 리깅과 애니메이션을 갖춘 복잡한 3D 가오리 모델이 나왔습니다.

모델은 인상적인 리그와 애니메이션을 갖춘 복잡한 3D 가오리 모델을 생성해 높은 폴리곤 수와 복잡한 움직임을 처리할 수 있었습니다.

발표자는 이런 고급 시각 디자인 작업에서 OpenAI가 더 오래 앞설 것이라 예상했기에 이 분야에서 모델의 성능에 놀라움을 표했습니다.

하지만 모델에는 여전히 특이점이 있는데, 컨텍스트 창 한계에 대한 반복적인 '편집증'과 자동 압축 중 데이터 손실을 잘못 걱정하는 것이 그 예입니다.

이런 특정 문제는 표준 벤치마크 테스트로 감지하고 해결하기 어려워 모델 동작의 미묘한 특성을 부각합니다.

더 높은 가독성을 제공하지만 여전히 성능의 더 깊은 '급등'을 겪어 가끔 일관성 부족을 나타냅니다.

더 작은 크기를 고려하면 이 모델은 길고 복잡한 작업을 다룰 때 여전히 오류가 발생하기 쉬워, 모든 워크플로에서 Sonnet을 Opus 5.5로 완전히 대체하지 말라는 권고로 이어집니다.

이 모델은 강력한 기능과 정책 덕분에 제한된 기업 환경에서 일하는 사람들에게 특히 권장됩니다.