울트라패스트 AI: 혁신적인 속도, 엄청난 비용

울트라패스트 AI 모델은 터무니없이 빠른 빌드 시간을 제공하여 코드 업데이트가 사용자에게 즉시 표시되는 실시간 상호 작용을 가능하게 합니다.

이 모델의 속도는 인간의 상호 작용보다 더 빠르게 느껴지는 경험을 만들어 라이브 프로토타이핑 및 즉각적인 사용자 경험을 위한 실제 사용 사례를 열어줍니다.

그러나 비용은 극적으로 증가합니다. 표준 Astra는 100만 출력 토큰당 50달러인 반면, 울트라패스트는 100만 출력 토큰당 300달러로 뛸 수 있으며, 장문 컨텍스트 프로젝트는 100만 출력 토큰당 450달러까지 비용이 치솟습니다.

Theo - t3.gg는 "Astra와 같은 모델로 터무니없이 빠르게 구축할 수 있을 뿐만 아니라, 요금 제한과 청구서도 훨씬 더 빠르게 소진할 수 있습니다."라고 말합니다.

100줄 미만의 두 개의 풀 리퀘스트에 울트라패스트를 테스트한 결과 600달러의 청구서가 나왔으며, Theo는 이 비용이 일상적인 작업에 지속 불가능하다고 설명합니다.

발표자는 이 두 가지 사소한 풀 리퀘스트를 검토하는 데 사용된 총 토큰 비용이 600달러에 달했으며, 이는 일반적인 사용에는 지속 불가능한 비용으로 간주된다고 밝혔습니다.

Theo - t3.gg는 "저는 기본적인 일상 업무에 사용했습니다. 두 개의 작은 풀 리퀘스트를 검토하게 했습니다. 둘 다 100줄 미만의 코드였는데, 꽤 비쌌습니다. 생각해 보십시오. 두 개의 풀 리퀘스트를 검토하는 데 토큰 비용이 얼마였을 것이라고 추측하시겠습니까? ... 총 600달러의 사용료였습니다."라고 강조합니다.

추가 비용에는 캐시 읽기 100만 건당 6달러, 캐시 쓰기 100만 건당 75달러가 포함되어 전체적으로 높은 비용에 기여합니다.

이 시스템은 단순한 정적 코드 분석을 넘어 코드를 적극적으로 테스트하여 코드만 읽어서 놓칠 수 있는 회귀를 찾아내어 검토 신뢰성을 향상시킵니다.

Theo - t3.gg는 "T-Rex는 Reptiles가 개발한 새로운 솔루션으로, 검토 에이전트가 실제 컴퓨터에서 실행되어 변경 사항을 실제로 실행하고 테스트할 수 있도록 합니다. 따라서 더 이상 코드를 단순히 보고 괜찮다고 판단하는 것이 아니라, 코드 자체를 실제로 테스트하는 것입니다."라고 설명합니다.

월 500달러 구독료는 API 요금을 정당화할 만큼 충분한 볼륨을 제공하지 못하여, Theo는 이 서비스가 대부분의 사용자에게 비실용적이라고 결론 내립니다.

월 500달러의 울트라패스트 요금제(제공되는 구독 등급)조차도 비용에 비해 사용량이 충분하지 않습니다.

Theo - t3.gg는 "지금 당장은 거의 아무도 울트라패스트를 건드리지 않아야 한다고 생각합니다. 특히 API 요금으로 인해 너무 비쌉니다. 하지만 새로운 월 500달러 울트라패스트 요금제에서 얻을 수 있는 양도 충분하지 않습니다."라고 결론 내립니다.

이 막대한 크레딧은 놀라운 속도로 소진되어, 약 2.1시간의 적극적인 사용으로 전체 주간 허용량을 소진합니다.

Theo는 시연 중에 두 개의 간단한 프롬프트가 1분도 안 되어 월 총 허용량의 1%를 소비했다고 보고합니다.

Theo는 "그들은 막대한 보조금을 지급하고 있습니다. 그래서 울트라패스트 500달러 요금제에서는 주당 약 1,000달러의 사용량을 얻을 수 있는데, 울트라패스트를 사용하면 무려 2.1시간 만에 소진됩니다."라고 말합니다.

울트라패스트 모델은 AI와의 새로운 작업 관계를 가능하게 하여 사용자가 전통적인 대기 시간 없이 코드 변경 사항과 라이브 배포를 실시간으로 관찰할 수 있도록 합니다.

이 설정은 애플리케이션과 AI 모델을 통합하는 분할 화면 접근 방식을 장려하며, 느린 AI 도구에서 흔히 발생하는 '기다렸다가 돌아오는' 패턴을 효과적으로 제거합니다.

이 경험은 코딩과 즉각적인 출력을 보는 것 사이의 끊김 없는 전환으로 특징지어지는 전통적인 개발자 플로우 상태와 밀접하게 유사하여, 보다 지속적이고 집중적인 개발 주기를 촉진합니다.

Theo는 "이러한 설정으로 매우 다른 작업 관계를 가질 수 있습니다. 앱과 모델을 다시 분할 화면으로 사용하는 것이 실제로 합리적이라는 것을 알았습니다. 왜냐하면 저는 단순히 작업을 요청하고 완료되면 보는 것이 아니기 때문입니다."라고 말합니다.

울트라패스트 모델의 빠른 추론 기능은 병목 현상을 모델 생성 시간에서 도구 호출 지연 시간으로 전환하여 개발자가 최적화 전략을 재고하도록 요구합니다.

효율성을 극대화하려면 사용자는 브라우저 미리보기와 같이 런타임을 두 배로 늘리고 속도 이점을 상쇄할 수 있는 불필요한 도구 호출을 피해야 합니다.

Astra와 같은 조종 가능한 모델은 AI가 활발하게 처리 중인 동안에도 반복적인 조정을 가능하게 하여 보다 동적이고 반응적인 개발 프로세스를 촉진합니다.

Theo - t3.gg는 "토큰 생성이 10분 걸리고 git 명령 또는 빌드 등이 30초 미만이었다면, 토큰 시간이 훨씬 더 길었기 때문에 다른 부분을 최적화하는 데 신경 쓰지 않았습니다."라고 언급합니다.

울트라패스트 시스템은 Nvidia 인프라를 활용하여 독특한 개발자 경험을 뒷받침하는 진정한 고속 성능을 제공합니다.

음성 명령과 라이브 코드 실행의 통합은 사용자 경험을 근본적으로 변화시켜 상호 작용을 매끄럽고 직관적으로 만듭니다.

개발자들 사이의 열정은 코딩 과정에서 '마법' 같은 느낌을 주는 즉각적인 양방향 상호 작용에서 비롯됩니다.

Theo - t3.gg는 "이것은 마법입니다. 음성과 결합하면 경험이 근본적으로 다르게 느껴집니다. 그리고 저는 왜 그 모든 OpenAI 직원들이 이것에 대해 그렇게 열광했는지 이해합니다. 라이브 양방향 상호 작용에서 오는 이 독특한 느낌 때문입니다."라고 설명합니다.

이러한 발전에도 불구하고, 울트라패스트와 관련된 높은 비용은 개인 또는 비기업 사용자의 광범위한 채택에 여전히 상당한 장벽으로 남아 있습니다.

사용자에게 '최대 추론' 설정을 제공하면 예측 가능한 비싼 결과가 초래된다고 Theo는 지적했으며, 개인이 한 시간 만에 월 요금제의 절반을 소진한 사례를 언급했습니다.

최대 추론을 사용하여 한 시간 만에 500달러 요금제의 절반 이상을 소진한 Primagen의 예시는 이러한 제약 없는 기능과 관련된 재정적 위험을 강조합니다.

Theo는 OpenAI가 충분한 안전 장치나 명확한 경고 없이 이러한 높은 비용을 수반하는 기능을 출시한 것은 설계 실수이며, 플랫폼과 사용자 모두의 잘못된 결정으로 이어졌다고 주장합니다.

Theo는 "재미있게도, 사용자에게 노브를 주면 그들은 끝까지 돌릴 것입니다. 그리고 그것은 OpenAI가 우리에게 노브를 준 것과 노브를 사용한 사용자 모두에게 많은 나쁜 결정을 초래했습니다."라고 말합니다.

울트라패스트는 사용자가 화면에 더 잘 맞도록 차트 방향을 수평에서 수직으로 변경하고, 연구소에서 영감을 받은 로고와 색상을 사용하여 일관된 브랜딩을 요청할 수 있도록 했습니다.

이 시스템은 평균 제거 및 최고 옵션으로 정렬과 같은 정렬 로직 변경 사항을 신속하게 구현할 수 있도록 하여, 1분 미만의 응답 시간 덕분에 지속적인 '루프 내' 워크플로우를 유지했습니다.

발표자는 프롬프트 스타일을 직접적이고 간결한 지시로 대폭 변경하여 디자인 반복 프로세스를 가속화했습니다.

Theo - t3.gg는 "저는 이것을 위해 루프 안에 있었습니다... 제가 바꾼 이유는 돈을 다 날릴까 봐 너무 두려워서가 아니라, 음식이 오븐에 있었고 일어나서 하고 싶었으며, 너무 많이 놓치고 있다는 느낌을 받고 싶지 않았기 때문입니다."라고 언급합니다.

초기 문제에는 '최대 추론'이 비용 및 토큰 비교를 오해의 소지가 있게 왜곡하는 것과 Sonnet, Opus, Astra와 같은 모델의 혼란스러운 출력 토큰 분포가 포함되었습니다.

명확성을 높이기 위해 모델은 개별 성능보다는 모델 패밀리별로 그룹화되었고, 모델별 효율성을 나타내기 위해 대화형 토글(낮음, 중간, 높음, 최대)이 추가되었습니다.

Theo는 "그래서 대신, 저는 숫자를 모델 패밀리별로 그룹화합니다. 그리고 순서는 가장 높은 숫자를 가진 것을 기반으로 하는데, 몇 가지 재미있는 부작용이 있습니다."라고 말합니다.

여러 구성을 몇 초 안에 테스트하여 맞춤형 UI 패턴이 개발되었으며, 이는 결과 대기로 인해 집중력을 잃게 되는 'Soul 61'의 표준 속도 경험과 뚜렷한 대조를 이룹니다.

개발자는 4분 안에 5가지 개별 프롬프트를 실행했으며, 각 프롬프트에 대해 20초에서 60초 미만의 응답을 받아 울트라패스트 워크플로우의 효율성을 강조합니다.

Theo - t3.gg는 "그리고 Astra가 Anthropic 모델보다 디자인 면에서 훨씬, 훨씬, 훨씬 더 나빴음에도 불구하고, 저는 그것과 함께 루프 안에 있었기 때문에 더 나은 디자인을 만들었습니다."라고 언급합니다.

실시간 피드백을 통해 개발자는 비교 차트를 신속하게 반복하여 레이아웃 및 패널 위치 조정을 용이하게 했습니다.

패널 위치 지정 및 레이아웃과 같은 빠른 UI 조정이 세션 중에 신속하게 구현되어 효율성 향상을 보여주었습니다.

2D 차트에서 라인을 분리하기 위한 호버링과 같은 UI 기능도 신속하게 추가되었으며, 개발자는 디자인을 개선하기 위해 단일 스레드에서 50개 이상의 메시지를 보냈는데, 이는 고도로 상호 작용적인 워크플로우를 나타냅니다.

Theo - t3.gg는 "저는 이것이 작업되는 동안 그것을 응시하고 모델과 양방향으로 소통하며 다른 것들을 시도할 수 있었기 때문에 이것을 생각해냈습니다."라고 말합니다.

울트라패스트 모델은 초당 토큰(TPS) 속도가 320~340으로, 일반 모델의 30 TPS 및 빠른 모델의 약 60 TPS보다 훨씬 높은 탁월한 성능을 보였습니다.

논의된 프로젝트의 총 비용은 286달러였으며, 메인 스레드에 36달러, 후속 작업에 250달러가 들었습니다. 이는 동일한 출력에 대해 'Astro'로 추정되는 90달러 또는 'Soul 61'로 불과 12달러와는 극명한 대조를 이룹니다.

이러한 극심한 가격 차이는 속도 이점에도 불구하고 울트라패스트 모드를 대부분의 사용 사례에 재정적으로 금지적인 것으로 만듭니다.

Theo - t3.gg는 "하지만 이 작업에 사용된 모든 스레드의 비용도 찾았습니다. 메인 스레드는 36달러였고, 추가 작업을 많이 한 후속 작업은 250달러였습니다."라고 보고합니다.

이러한 능력은 개발자가 행동을 조정하여 크고 복잡한 요청보다 작고 더 자주 요청하는 것을 선택하게 했습니다.

다른 모델보다 디자인 면에서 객관적으로 '나쁨'에도 불구하고, 울트라패스트의 속도는 빠른 반복을 통해 우수한 UI 개선을 가능하게 하며, 개발자는 현재의 가격 등급이 오해의 소지가 있으며 명시적인 경고가 필요하다고 제안합니다.

Theo - t3.gg는 "다른 점은 제가 그것을 만들지 않았을 것이라는 것입니다. 모든 단계마다 기다려야 했다면, 제가 생각하는 것에 대한 컨텍스트를 잃었을 것입니다."라고 설명합니다.

Astra 울트라패스트는 현재 Astra 스탠다드와 비슷하거나 심지어 더 저렴하게 가격이 책정되어 광범위한 유용성이 목적이 아님을 시사합니다.

현재 울트라패스트 사용의 주요 목표는 초기 채택자들이 상당한 토큰을 소비하더라도 실험을 통해 모델의 기능을 탐색하고 이해하는 것입니다.

발표자는 현재 실험 단계를 넘어 미래에는 이러한 고속이 과도한 비용 없이 저렴해질 것이라고 예상합니다.

Theo - t3.gg는 "Astra 울트라패스트의 요점은 사용되는 것이 아닙니다. 저 같은 미친 사람들이 그것이 무엇을 할 수 있는지 보기 위해 너무 많은 토큰을 낭비하며 실험하는 것입니다."라고 명확히 합니다.

울트라패스트 모드의 엄청난 비용은 대부분의 애플리케이션에 대해 정당화하기 거의 불가능하며, 극단적인, 심각한 사고 대응에만 정당화될 수 있습니다.

크레딧의 빠른 소진을 고려할 때, 개인이나 조직이 사실상 무제한의 자금을 가지고 있지 않는 한 일반적으로 비용을 지불할 가치가 없습니다.

계정 재설정 직전에 배포하는 것과 같은 전략적인 사용은 금지된 비용에서 가치를 극대화하기 위해 제안됩니다.

Theo는 "너무 비싸서 기본적으로 정당화하기 불가능합니다. 하지만 정당화할 수 있는 다른 시간이 한 번 있습니다. 그리고 저에게는 지금입니다."라고 말합니다.

울트라패스트의 500달러 티어는 현재 가치 제안이 비용을 정당화하지 못하므로 현재 업그레이드를 권장하지 않습니다.

Sonnet 3.5 및 표준 Astra를 포함하는 200달러 티어에 대한 분석은 향후 비디오에서 진행될 예정이며, 해당 수준에서 더 나은 가치 가능성을 시사합니다.

Theo - t3.gg는 "아직 이것 때문에 500달러 티어로 업그레이드하지 마십시오. 그만한 가치가 없습니다."라고 조언합니다.