Fable 5.1과 Astra, 실제 서비스서 맞붙다

이 두 모델은 이틀 간격으로 등장하며 AGI(인공 일반 지능) 도래 여부에 대한 논쟁을 불러일으켰다.

온라인 커뮤니티에서는 AGI가 현실화되었다는 주장과 아직 그 수준에는 미치지 못한다는 주장이 팽팽히 맞서며 다양한 리뷰가 쏟아졌다.

두 모델에 대한 사용자 리뷰는 같은 모델임에도 불구하고 상반된 평가를 보이는 경우가 많다. 이는 주로 토큰 소모량에 대한 사용자 체감 차이, 주력 AI 교체 후 성능에 대한 극과 극의 평가, 그리고 글쓰기 능력 및 비용 효율성에 대한 상반된 의견에서 비롯된다.

특히 모델의 안정성 검사 기준이 민감하게 작용하여 사용자마다 다른 결과를 경험하는 것으로 나타났다.

모델 평가는 동일한 모델이라도 실험 조건이 다르면 결과가 다르게 나오는 것이 당연하다는 분석이다. 사용된 에이전트 수 및 세션 유형의 차이, 프롬프트와 API 활용 방식의 상이함이 결과에 영향을 미친다.

이와 함께 사용자의 주관적인 감정, 즉 만족도나 피로도 역시 평가에 반영되어 객관성을 저해하는 요인이 된다.

실제 서비스 환경에서 두 모델의 성능을 비교하기 위해 실험 조건을 통일했다. Claude Fable 5.1과 GPT-6 Astra 두 모델 모두 Max 모드로 설정하고 비교를 진행한다.

실제 서비스 'AutoKliq'의 온보딩 영상 제작 과제를 두 모델에게 동일하게 부여하여 성능을 대조한다.

모델 교차 검증은 메인 오케스트레이터를 통해 이루어진다. 메인 오케스트레이터는 두 개의 페인(pane)을 띄우는데, 하나는 Astra 모델, 다른 하나는 Fable 모델로 설정한다.

이후 동일한 프롬프트를 두 페인에 동시에 주입하여 실시간으로 결과물을 도출하고 비교하는 방식을 사용한다. 이 방법을 통해 모델 간의 직접적인 성능 차이를 확인할 수 있다.

UI 리디자인과 최적화 작업에서는 예상보다 드라마틱한 변화가 없었다. 최적화는 2~3% 정도의 소폭 개선에 그쳤다.

작업 시간 단축 효과 역시 10~20초 수준으로 미미하여 큰 성능 향상으로 보기는 어렵다.

아스트라의 스타일을 참고하여 홈 화면을 구성하는 협업 UI 리디자인을 시도했으나, 결과는 만족스럽지 않았다. 페이블과의 협업 과정에서 구조가 혼합되어 오히려 아스트라가 단독으로 만든 결과물보다 못하다는 평가가 나왔다.

특히 서치바 삭제 등 일부 기능이 저하되는 문제까지 발생했다.

뛰어난 성능을 가진 두 모델이 협업하더라도 단독 작업보다 못한 결과를 초래할 수 있다는 지적이 나왔다. 이는 모델별 메인 작업을 수행할 때 발생하는 비용 문제와도 관련이 있다.

단순히 두 모델을 결합하는 것이 항상 최선의 결과를 보장하지 않음을 시사한다.

클로드 코드와 코덱스 하네스의 차이로 인해 순수한 모델 자체의 성능을 비교하기 어렵다.

오늘 시연된 결과 역시 모델과 하네스를 결합한 상태를 비교한 것이므로, 정확한 모델 성능 비교를 위해서는 동일한 하네스 환경, 즉 오픈 코드에서 비교가 필수적이다.

아무리 원샷 프롬프트의 성능이 향상되고 롱러닝 에이전트가 모든 것을 할 수 있는 세상이 왔다고 해도, 결국 사람의 역할은 필수적이다. 모델 제어(Steering)와 디렉션이 없으면 한계에 부딪힐 수밖에 없다.

플래닝 점검 및 중간 검증 과정은 품질 향상을 위해 반드시 필요하며, 사람이 이러한 역할을 수행해야 한다.

모델 활용의 핵심은 특정 모델만 고집하는 것이 아니라, 작업의 특성에 맞춰 적절한 모델을 선택하는 데 있다. 무조건 Max 모드를 사용한다고 좋은 결과를 얻는 것은 아니며, 비용 효율적인 선택을 위해 하네스 활용도 중요하다.

다양한 실제 문제를 직접 해결해보면서 모델 선택과 활용에 대한 감각을 익히는 것이 중요하다고 강조했다.