새로운 AI 모델, 이전 버전 능가

Theo는 David Kramer(Zeg)의 Fable과 Astra가 Opus 및 Sonnet과 같은 이전 고추론 모델을 능가하지 못한다는 주장에 이의를 제기합니다. 그는 이러한 관점이 적절한 프롬프트 기술 부족에서 비롯된 것이며, 이를 "지금까지 들어본 것 중 최악의 의견"이라고 부릅니다. Theo는 고급 모델이 특히 적절한 기술과 함께 활용될 때 상당한 성능 이점을 제공한다고 강조합니다.

Fable 또는 Astra의 많은 사용자들은 이전 모델로 다시 전환하여 자신들의 작업이 다르게 수행되지 않는다는 것을 깨닫도록 권장되는데, Theo는 이러한 의견에 강력히 반대합니다. 그는 정교한 모델이 올바르게 활용될 때 작업 성능과 효율성을 명백히 향상시킨다고 강조합니다.

대부분의 AI 코드 검토 봇은 코드를 정적으로 읽기만 하고 실제로 실행하지 않기 때문에 실패합니다. 코드는 정적 분석만으로는 명확하지 않은 방식으로 종종 오류가 발생하므로 동적 테스트가 필요합니다. 이러한 한계로 인해 일반적인 AI 코드 검토는 복잡한 소프트웨어 변경 사항을 효과적으로 검증하는 데 불충분합니다.

샌드박스를 사용하면 AI 에이전트가 다양한 코드 경로를 테스트하고 엔드투엔드 기능을 검증하여 단순한 텍스트 승인 대신 비디오 및 이미지와 같은 구체적인 성공 증거를 제공할 수 있습니다. 이 접근 방식은 AI 기반 코드 검토의 신뢰성과 깊이를 크게 향상시킵니다. Theo는 이러한 동적 실행의 중요성을 강조하며, 에이전트가 코드를 실행할 수 있을 때 코드를 더 잘 이해한다고 지적합니다.

필요한 샌드박스 수는 작업의 복잡성에 따라 없거나 10개가 필요할 수 있습니다. 이 동적 프로세스는 단순한 엄지손가락 반응을 실행 가능한 시각적 증거로 대체합니다.

잠재적 버그에 대한 이론을 자율적으로 테스트함으로써 오케스트레이터는 엔드투엔드 검증을 통해 코드 배포에 대한 신뢰를 높입니다. 이 방법은 정적 검사를 넘어 능동적인 문제 해결로 나아가 철저하고 적응력 있는 코드 분석을 보장합니다.

놀라운 잠재력에도 불구하고 이 모델은 일관성 없는 성능 문제를 보이며 때때로 심각한 오류를 범합니다. 이러한 이중성은 Astra가 놀라운 위업을 달성할 수 있지만, 초기 불안정한 모델을 연상시키는 답답한 방식으로 실패할 수도 있음을 의미합니다.

이러한 행동적 특이성으로 인해 사용자들은 특히 최고점의 지능보다 일관성이 우선시될 때 합리적으로 Sonnet과 같은 모델로 되돌아갈 수 있습니다. Astra 성능의 독특한 특성상 이전 모델로 되돌아가는 것에 대한 비판이 Fable에게만큼 Astra에게도 똑같이 적용되지는 않습니다. Astra는 강점이 종종 뚜렷한 약점과 일치하는 복잡한 사례를 제시합니다.

AI 에이전트에 대한 최적의 프롬프트 접근 방식은 작업 중인 코드베이스의 규모에 크게 좌우됩니다. 개발자는 특히 오류가 비용이 많이 들 수 있는 고위험 환경에서 프롬프트를 과도하게 수정하는 경향이 있습니다. AI 에이전트의 실제 효과는 특히 대기업에서 유연하고 현실적인 프롬프트 전략을 채택하는 데 달려 있습니다.

Theo는 개발자를 'Atlassian 개발자'(과도하게 수정하는 경향이 있는)와 '현실적인 개발자'(AI 에이전트의 미묘한 효과를 이해하는)로 분류합니다. 이러한 구분은 AI를 개발 워크플로우에 통합하는 다양한 접근 방식을 강조합니다.

최신 AI 모델은 과학적 한계를 뛰어넘는 능력보다는 "더 적게 멍청하게 행동하기" 때문에 선호됩니다. 이러한 향상된 신뢰성은 특히 일상적인 작업에 대해 지속적인 인간 안내의 필요성을 줄여줍니다. 초점은 극도의 복잡성을 달성하는 것에서 일관된 성능을 보장하고 오류를 최소화하는 것으로 바뀌었습니다.

Theo는 이러한 신뢰성 선호가 개발자들이 지속적인 인간 개입 없이 일관되게 잘 수행되는 모델을 중요하게 생각한다는 것을 의미한다고 설명합니다. 목표는 사소한 오류의 빈도를 줄여 모델을 일상적인 사용에 더 실용적으로 만드는 것입니다.

AI 작업의 수평적 확장을 달성하려면 개발자는 프롬프트 내에서 파일을 세부적으로 관리하는 것을 피해야 합니다. 대신 모델은 문제에 대한 일반적인 설명에 따라 관련 파일을 독립적으로 식별하고 수정할 수 있는 권한을 부여받아야 합니다. 이 접근 방식은 시뮬레이터 테스트 및 빌드 푸시와 같은 검증 프로세스를 자동화하여 개발자를 지루한 감독에서 해방시킵니다.

풀 리퀘스트(PR) 성공 확인은 텍스트 승인에만 의존하기보다는 비디오와 같은 시각적 증거를 사용하여 수행할 수 있습니다. 이 방법은 개발 워크플로우를 간소화하여 AI 에이전트가 더 복잡하고 광범위한 작업을 자율적으로 처리할 수 있도록 합니다.

첫 번째 지표는 자율 작동 기간을 측정하고, 두 번째 지표는 인간이 개입하기 전에 출력의 신뢰성을 평가합니다. 이 지표들은 비슷하지만 구별되며, 에이전트 성능의 다른 측면에 초점을 맞춥니다.

궁극적인 목표는 모델이 오류를 범하거나 "망가뜨릴" 가능성을 최소화하는 것입니다. 이 두 가지 지표에 초점을 맞춤으로써 개발자는 다양한 작업에서 AI 에이전트의 전반적인 효율성과 독립성을 더 잘 평가하고 개선할 수 있습니다.

즉, 더 길고 복잡한 작업일수록 오류 발생 가능성이 높습니다. 작업이 더 넓어져 더 많은 작업이 포함될 때 Opus와 같은 모델이 제대로 작동하지 않는 "경계 조건"에 직면할 가능성이 크게 증가합니다. 이는 더 광범위한 작업이 본질적으로 더 높은 실패 위험을 수반함을 보여줍니다.

최첨단 모델은 전반적인 성능 '하한선'을 높여 더 넓은 작업에서도 이러한 오류에 덜 취약하게 만듦으로써 성공합니다. 이 구분은 "스마트함"과 "덜 멍청함"이 모델 품질의 두 가지 다른 측정 기준이며, 후자가 장시간 작업에 중요하다는 점을 강조합니다.

새로운 AI 모델 세대가 나올 때마다 특히 간단하고 짧은 작업의 경우 모델이 실수할 확률이 50%가 되는 시간이 기하급수적으로 줄어듭니다. 이러한 급속한 개선은 시간이 지남에 따라 에이전트 신뢰성의 상당한 발전을 강조합니다. 추적 및 프롬프트를 정제하면 에이전트 성공률을 크게 향상시켜 더 빠르고 정확한 작업 완료를 가능하게 합니다.

Theo는 모델과 프롬프트에 대한 반복적인 조정이 풀 리퀘스트(PR)의 즉각적인 배포를 어떻게 가능하게 하는지 강조합니다. 이 지속적인 정제 프로세스는 에이전트가 점점 더 신뢰할 수 있고 효율적이 되도록 보장하여 광범위한 인간 감독의 필요성을 줄입니다.

일부 개발자는 더 저렴한 모델을 선택할 수 있지만, 이러한 모델은 장기적으로 의도치 않게 더 비싸질 수 있습니다. 증가된 인간 감독의 필요성과 오류 수정에 소요되는 시간은 초기 절감액보다 클 수 있으며, 겉으로는 저렴해 보이는 모델이 결국 더 비싸지게 만듭니다.

Theo는 전문적인 시간이 귀중한 자원이며, 더 유능한 AI 도구에 투자하면 상당한 시간 절약과 효율성 향상으로 이어질 수 있다고 강조합니다. 이 비용-편익 분석은 진지한 개발 작업의 경우 프리미엄 모델이 더 나은 투자 수익을 제공한다는 것을 시사합니다.

Theo는 자신의 전문적인 시간이 Fable이나 Astra와 같은 고급 AI 모델의 비용보다 더 가치 있다고 주장합니다. 일부 개발자는 대부분의 웹 개발 작업에 더 간단한 도구가 충분하다고 믿지만, 프리미엄 모델에 투자하면 개발의 시작 및 완료 단계에서 소요되는 시간을 크게 줄일 수 있습니다. 이러한 고급 모델이 프로세스 초기에 복잡한 작업을 처리하도록 허용하면 상당한 시간 절약 효과를 얻을 수 있습니다.

개발자가 더 저렴한 모델로 다운그레이드하면 작업 시작 전과 문제가 발생할 때 더 많은 개인 시간을 투자해야 합니다. 이러한 상충 관계는 전문 개발자들이 더 높은 가격에도 불구하고 프리미엄 모델이 비용 효율적이라고 생각하는 이유를 강조합니다.

3월부터 현재까지 AI 에이전트의 중앙값 프롬프트 런타임은 53초에서 2분 20초 이상으로 두 배 이상 증가했습니다. 이러한 상당한 성장은 더 긴 기간 동안 작업을 처리하는 모델의 능력이 크게 향상되었음을 나타냅니다. 또한, 같은 기간 동안 작업 기간의 긴 쪽을 나타내는 95번째 백분위수(P95) 런타임은 7분 미만에서 16분 20초 이상으로 급증했습니다.

Fable 및 Soul과 같은 고급 모델의 도입은 이러한 개선과 직접적으로 연결되어 장시간 작업을 수행하는 능력이 거의 두 배로 증가했습니다. 이 데이터 기반 증거는 현대 AI 모델의 향상된 성능과 내구성을 명확하게 보여줍니다.

예를 들어, 10분 동안 5%의 실패율은 복합적으로 작용하여 한 시간 동안 70%의 실패율로 확대될 수 있습니다. 그러나 초기 실패율을 5%에서 3%로 줄임으로써 4시간 동안의 실패율은 70%에서 50%로 극적으로 감소합니다.

이 수학적 시연은 짧은 시간 내에 성공 확률의 사소한 조정이 에이전트의 전체 실행 가능 시간을 얼마나 극적으로 연장할 수 있는지를 강조합니다. 이러한 개선은 고도로 자율적이고 신뢰할 수 있는 AI 시스템을 개발하고 인간 개입 없이 장기간 효율적으로 작동할 수 있도록 보장하는 데 중요합니다.

이전 AI 모델은 시간이 지남에 따라 일관성을 유지하고 맥락을 효율적으로 관리하는 데 어려움을 겪었습니다. Ralph 루프와 같은 혁신적인 접근 방식에도 불구하고 이러한 모델은 압축, 과거 작업 추적 또는 시도한 솔루션에 대한 알림 남기기에 능숙하지 못했습니다. 이러한 결함은 더 긴 시간의 작업을 맡았을 때 즉각적인 실패로 이어져 지속적인 자율 작동을 어렵게 만들었습니다.

수동 사양 작성은 어느 정도 도움이 되었지만 장기적인 일관성을 보장하기에는 불충분했습니다. Cursor 2 및 3과 같은 모델을 사용한 초기 실행은 매우 짧은 시간을 넘어서는 작업이 주어졌을 때 지속적으로 중단되어 시간이 지남에 따라 운영 무결성을 유지하는 데 내재된 한계를 강조했습니다.

이러한 모델은 사소한 문제가 발생하더라도 4~8시간 연속 실행을 처리할 수 있어 초기 기간에 비해 실패율을 크게 줄였습니다. 이러한 향상된 신뢰성은 에이전트가 더 긴 기간 동안 좋은 결과를 생성할 가능성이 훨씬 더 높다는 것을 의미합니다.

현대 에이전트의 성공은 지속적으로 개입하기보다는 모델이 장시간 실행되도록 허용하는 데 점점 더 의존합니다. 더 긴 자율 운영으로의 이러한 전환은 자동화된 워크플로우의 상당한 발전을 의미하며, 더 적은 개입으로 개발 프로세스를 가능하게 합니다.

코딩 전에 꼼꼼하게 준비하고 코딩 후 철저히 검토하여 탁월한 성과를 낸 매우 유능한 리더들은 이러한 수동 프로세스를 포기하는 데 어려움을 겪습니다. 그들은 AI가 더 효율적으로 자동화할 수 있음에도 불구하고 이러한 추가적인 노력에서 만족감을 얻습니다.

개발자들은 새로운 모델을 이미 마스터한 작업에 대해 테스트하는 경향이 있으며, 모델의 고급 기능을 간과하여 새롭거나 복잡한 문제를 처리하는 능력을 보지 못합니다. 이러한 심리적 저항은 잠재적으로 더 효율적인 AI 기반 접근 방식보다 익숙한 방법을 우선시하여 진정으로 혁신적인 AI 워크플로우의 채택을 방해합니다.