Grok 4.6, GPT-4, Claude 3 Opus와 동급 성능에 훨씬 저렴한 AI 모델

진행한 여러 프로젝트들을 모두 구현하는 데 사용한 요금이 전체 예산의 7%밖에 되지 않았다고 밝혔습니다. 이는 사용자들이 믿기 어려울 정도로 낮은 비용이라고 덧붙였습니다.

코드팩토리는 Grok 4.6의 성능을 평가하기 위해 다양한 테스트 항목을 설정했습니다. UI적인 요소들을 얼마나 잘 구현하는지, 기능적인 부분들을 얼마나 정확히 복제하는지, 그리고 물리 엔진 같은 복잡한 요소들을 얼마나 잘 구현하는지 등을 중점적으로 살펴보았습니다. 이를 통해 Grok 4.6의 전반적인 개발 능력을 검증하고자 했습니다.

Grok 4.6은 최대 500K 컨텍스트를 지원합니다. 비용 측면에서는 100만 토큰당 인풋은 2달러, 아웃풋은 6달러로 매우 저렴한 가격 정책을 가지고 있습니다. 이러한 가격은 다른 고성능 AI 모델들과 비교했을 때 상당한 경쟁력을 가집니다.

Fable은 인풋 10달러, 아웃풋 50달러이며, Opus는 인풋 5달러, 아웃풋 25달러입니다. GPT-4 Solo는 인풋 5달러, 아웃풋 30달러이고, Gemini 테라는 인풋 2달러, 아웃풋 12달러, 루나는 인풋 0.2달러, 아웃풋 1.2달러입니다. 이와 비교하여 Grok 4.6은 인풋 2달러, 아웃풋 6달러로 가장 경제적인 선택지 중 하나임을 확인할 수 있습니다.

Opus가 가장 높은 티어에 있지만, Grok 4.6은 60점 이상의 영역에 속해 사실상 1티어 모델로 평가될 수 있습니다. 이는 Grok 4.6이 고성능 AI 모델들과 어깨를 나란히 할 수 있음을 의미합니다.

이는 Grok 4.6이 이들 모델과 성능 면에서 동급이라고 볼 수 있으며, 특히 Fable Solo와도 어깨를 나란히 하지만 비용은 비교할 수 없을 정도로 저렴하다고 설명했습니다.

Grok 4.6은 루빅스 큐브를 구현하면서 질감 표현까지 아름답게 해냈습니다. 모든 프로젝트는 네이티브 HTML, 자바스크립트, CSS만을 사용하여 구현하도록 요청했으며, 물리 엔진도 처음부터 직접 만들도록 지시했습니다. 결과적으로 큐브가 회전하는 모습이나 질감이 매우 자연스럽게 구성되었으며, 물리 엔진도 내추럴하게 느껴질 정도로 잘 구현되었다고 평가했습니다. 이 프로젝트는 Grok 4.6의 복잡한 UI 및 물리 엔진 구현 능력을 보여주는 좋은 예시입니다.

Grok 4.6은 스크롤 기반의 웹사이트를 구현하는 테스트도 진행했습니다. 완성된 웹사이트는 스크롤을 할 때마다 태양이 움직이며 시간이 변하는 해시계 콘셉트를 보여줍니다. 마우스를 움직이면 글자가 보이거나 특정 요소를 움직일 수 있는 상호작용 기능까지 구현되었습니다. 이는 Grok 4.6이 동적인 웹 페이지와 사용자 인터랙션 구현에 능숙함을 보여줍니다.

진행된 모든 프로젝트는 싱글 프롬프트, 즉 단 한 번의 요청으로 구현되었습니다. 이는 Grok 4.6이 복잡한 지시도 한 번에 이해하고 높은 완성도로 결과물을 도출하는 작업 효율성을 가지고 있음을 증명합니다.

Grok은 프로젝트 결과물에 대한 검증을 매우 열심히 수행하는 강점을 보였습니다. 하지만 일부 겹치는 문제와 같은 특정 오류들은 완벽하게 파악하지 못하는 한계도 드러냈습니다. 전반적인 정렬(얼라인)은 잘 되었고, 애니메이션도 잘 작동하는 것을 확인할 수 있었지만, 미세한 오류를 간과하는 부분은 개선의 여지가 있다고 평가했습니다.

Grok 4.6으로 에어비앤비 웹사이트를 복제하는 테스트를 진행한 결과, 실제 에어비앤비 사이트와 거의 똑같은 결과물이 나왔습니다. 사용된 이미지들도 모두 Grok이 직접 생성한 것이었습니다. 이 프로젝트는 약 10분 만에 구현되었으며, 실제 에어비앤비를 그대로 가져온 것이 아닌가 하는 착각이 들 정도로 높은 완성도를 보여주며 복제 능력을 입증했습니다.

Grok 4.6으로 앵그리버드 게임을 복제하는 시도를 했으며, 물리 엔진도 직접 만들도록 요청했습니다. 이 프로젝트는 코드팩토리가 테스트한 프로젝트 중 가장 오랜 시간이 소요되었는데, 약 40분 정도 걸렸습니다. 물리 엔진을 정의하는 자바스크립트 파일을 오랫동안 수정했지만, 완전히 만족스러운 수준까지 구현되지는 않았다고 평가했습니다. 이는 Grok 4.6이 복잡한 물리 엔진 구현에는 아직 약점을 보임을 시사합니다.

다음 테스트는 마우스를 눌러 움직이는 미로 탈출 게임 구현이었습니다. 이 역시 싱글 프롬프트로 진행되었으며, 유튜브 BJ들이 즐겨 하는 수준의 게임을 빠르게 구현해내는 모습을 보였습니다. Grok 4.6은 이 정도 난이도의 미로 게임 구현에는 매우 능숙하다는 긍정적인 평가를 받았습니다.

코드팩토리는 올 카드를 사용하여 동시에 다섯 개의 프로젝트를 모두 가동했습니다. 이 모든 작업을 통틀어 사용량은 7%에 불과했으며, 이는 30달러짜리 슈퍼 그록 플랜을 사용했기 때문입니다. 코드팩토리는 이 30달러 플랜이 체감상 100달러짜리 플랜이 제공하는 분량과 맞먹는다고 평가했습니다. Grok은 최상위 티어 모델임에도 불구하고 사용량이 거의 줄지 않아 매우 많은 양을 활용할 수 있다고 강조했습니다.

코드팩토리는 GPT, Claude, Fable, Opus 등의 AI 모델 사용에 불만이 있거나 자금 상황이 좋지 않은 사용자들에게 Grok을 보조 계정으로 추천했습니다. 나아가 Grok을 주력 계정으로 사용해도 손색이 없을 정도로 문제 해결 능력과 코딩 능력이 뛰어나며 속도도 빠르다고 평가했습니다. 특히 가격 대비 최전선 모델을 많이 쓰고 싶은 사용자에게 Grok이 단연 1티어 모델이 될 것이라고 강력히 추천했습니다.