클로드 3.5 소넷, 성능과 가성비 모두 잡다

엔트로픽의 최신 모델 클로드 3.5 소넷은 오퍼스 3.5에 이어 출시되었으며, 특정 부분에서는 오퍼스 3.5보다 강력한 성능을 더 저렴하고 빠른 속도로 제공한다.

코드팩토리는 오퍼스 3.5 리뷰에 사용했던 경복궁 모션 그래픽, 서울 오픈월드 게임, 자기소개 웹사이트, 한국어 소설 등 4가지 과제로 소넷 3.5의 성능을 직접 검증했다.

클로드 3.5 소넷은 이전 모델인 소넷 3.0보다 작업을 30% 더 빠르게 처리한다고 엔트로픽은 설명했다.

가격 측면에서도 소넷 3.0 대비 30% 더 저렴하여 비용 효율성이 크게 개선되었다.

소넷 3.5는 에이전트 코딩 벤치마크 테스트에서 70.6%의 점수를 기록했다. 이는 소넷 3.0의 10.3%와 오퍼스 3.5의 66.4%를 크게 상회하는 수치이다.

코드 프론티어 코드 1.1 벤치마크에서는 X-하이(X-Hi) 설정이 맥스(Max) 설정보다 더 높은 성능을 보여, 특정 환경에서 최적화된 코딩 능력을 입증했다.

이러한 결과는 소넷 3.5가 코드 생성 및 문제 해결 능력에서 비약적인 발전을 이루었음을 시사한다.

소넷 3.5의 인풋 토큰과 아웃풋 토큰 가격은 기존 오퍼스 3.5 대비 절반으로 줄어들었다.

그러나 캐시 리드(Cache Read) 가격은 오퍼스 3.5와 동일하게 유지되었는데, 이는 AI 인프라 비용이 거의 포화 상태에 도달했음을 의미하는 것으로 해석될 수 있다.

모션 그래픽 제작에서는 소넷 3.5가 1시간 45분 21초가 걸린 반면, 오퍼스 3.5는 1시간 18분 44초로 더 빠른 완료 시간을 기록했다.

오픈월드 게임 구현, 웹사이트 제작, 단편 소설 집필 등 다른 모든 테스트에서도 소넷 3.5는 오퍼스 3.5보다 시간이 조금 더 소요되었다.

모션 그래픽 구현에서 소넷 3.5는 네모칸 분리 등 기본 구성 요소를 잘 구현하며 준수한 완성도를 보였다.

하지만 오퍼스 3.5에서 조각이 정교하게 분해되는 모션을 구현했던 것과 달리, 소넷 3.5는 화면 전환으로 이를 대체하여 디테일 면에서는 다소 부족함이 확인되었다. 프롬프트 보완을 통해 유사한 결과물을 기대할 수 있을 것으로 보인다.

오픈월드 게임 구현에서 소넷 3.5는 사람 관절 구현 및 상호작용 가능한 게임 퀘스트 구성 능력을 선보였다.

한국어 간판 묘사나 야간 불빛 디테일이 우수했으나, 남산타워 등 특정 랜드마크의 현실감 있는 구현에서는 오퍼스 3.5가 더 정확한 모습을 보였다.

자기소개 웹사이트 제작에서 소넷 3.5는 파티클 움직임과 마우스 인터랙션, 스크롤 연동, 데이터 삭제 및 추가 기능을 완벽하게 구현했다.

애니메이션 디테일이 매우 뛰어난 고품질 결과물을 보여주며, 이 분야에서는 오퍼스 3.5와 거의 동등한 수준의 성능을 발휘했다.

한국어 소설 집필 테스트에서 소넷 3.5는 직역투가 현저히 줄어들고 자연스러운 문체를 구사하는 능력을 보여주었다.

구체적인 상황 묘사와 한국적 배경 표현이 우수하여 코드팩토리는 지금까지 본 엔트로픽 모델 중 한국어 능력이 가장 좋다고 평가했다.

기존 GPT 모델 위주로 진행되던 작업 환경에서 소넷 3.5로의 전환을 진지하게 고려할 만큼 인상적인 성능을 보여주었다.