Sail Research, AI 토큰 비용 1,000배 절감 목표

시장의 초점은 저지연 실시간 AI 상호 작용에서 장기적이고 지속적인 작업으로 확실히 전환되었습니다. 역사적으로 AI 개발은 즉각적인 커서 기반 응답에 맞춰져 있었습니다. 그러나 6개월 전부터 에이전트가 백그라운드에서 더 길고 능동적인 작업을 수행할 때 더 효과적이라는 인식이 명확해졌습니다. 이러한 변화는 빠른 토큰 출력이 더 이상 주요 요구 사항이 아니며, 극도의 효율성 최적화를 위한 문을 열어줍니다.

지연 시간은 주로 인간이 AI 에이전트의 응답을 적극적으로 기다리거나 '루프 안에' 있을 때 병목 현상이 됩니다. Sail Research의 목표는 에이전트를 '인간 시간 척도'로 이동시켜 작업이 사전에 백그라운드에서 완료되도록 하여 즉각적인 인간 상호 작용의 필요성을 없애는 것입니다. Neil Movva는 인간이 요청하기 전에 작업이 완료되기 때문에 최고의 지연 시간은 효과적으로 제로 지연 시간이라고 주장하며, 중단 없이 워크플로우에 원활하게 통합될 수 있도록 합니다.

에이전트에게 더 많은 시간을 주면 더 나은 답변을 얻을 수 있다는 이론인 테스트 시간 컴퓨팅 스케일링이 실행 가능하다는 것이 입증되었습니다. 약 2년 전에 이론화된 이 개념은 작년 말 Opus 4의 등장으로 에이전트가 한 시간 이상 효과적으로 실행될 수 있게 되면서 실용화되었습니다. 이제 AI 모델이 점점 더 긴 작업을 처리하는 능력에서 기하급수적인 성장을 보인다는 강력한 증거가 있으며, 이는 장기 전략의 유효성을 입증합니다.

Neil Movva는 AI 워크로드 분포가 현재 백그라운드 및 실시간 작업의 50/50 분할에서 백그라운드 에이전트가 90/10으로 우세한 분할로 크게 전환될 것이라고 예측합니다. 이러한 전환은 백그라운드 에이전트가 인간 주의력의 한계를 우회하여 더 지속적이고 능동적인 작업을 가능하게 한다는 이해에 의해 주도됩니다. 장기 비전은 백그라운드 에이전트를 AI 유틸리티의 지배적인 힘으로C.C. 자리매김하여 AI가 일상 운영에 통합되는 방식을 변화시킵니다.

엔비디아에서 텐서 코어의 초기 개발 단계에서 AI 연구원들은 기존 그래픽 팀과 실리콘 다이 면적을 놓고 치열한 내부 경쟁에 직면했습니다. 이 할당은 처음에는 제한적이었으며, AI 기능은 전체 다이 면적의 약 5-10%만 받았습니다. 모든 설계 선택에는 상당한 기회 비용이 수반되어 칩 설계자는 고유한 가치와 희소성 때문에 할당된 공간을 신중하게 보호해야 했으며, 이는 AI 전용 하드웨어 통합의 초기 어려움을 강조합니다.

여러 GPU에 작업을 분할하면 통신 오버헤드가 발생하여 하드웨어 증가에 따른 선형적인 속도 스케일링을 방해합니다. 예를 들어, 8배 더 많은 하드웨어를 사용하면 일반적으로 8배가 아닌 약 4~5배의 속도만 얻을 수 있습니다. 이러한 비선형 스케일링은 작업이 더 작은 타일로 분할될수록 효율성이 감소한다는 것을 의미하며, 완벽한 병렬 처리를 달성하는 데 따르는 어려움을 강조합니다. 엔지니어는 하드웨어 유틸리티를 극대화하기 위해 이러한 오버헤드를 최소화하는 방법을 찾아야 합니다.

Cerebras와 같은 고속 메모리 칩과 GPU와 같은 고용량 칩을 짝지어 언어 모델을 최적화하기 위한 하이브리드 접근 방식이 필수적으로 부상하고 있습니다. 이 전략은 사용자 상호 작용에 따라 확장되고 중요한 병목 현상을 일으키는 Key-Value (KV) 캐시의 동적인 성장을 해결합니다. 정적인 모델 가중치와 달리 KV 캐시의 변동하는 요구 사항은 성능을 유지하기 위해 빠른 액세스와 상당한 저장 용량을 모두 결합한 유연한 메모리 솔루션을 필요로 합니다.

현재의 트랜스포머 아키텍처에는 Neil Movva가 "트랜스포머의 원죄"라고 부르는 근본적인 비효율성이 있습니다. 즉, 메모리 바운드 어텐션 레이어를 컴퓨팅 바운드 다층 퍼셉트론(MLP) 레이어 옆에 배치하는 것입니다. 최신 칩은 메모리 작업과 복잡한 계산 모두에서 동시에 효율적이기 어렵습니다. 앞으로 Nvidia와 Grock 모두 각 레이어 유형에 맞는 특수 하드웨어를 최적화하는 분업을 채택할 가능성이 높으며, 이는 이 핵심 아키텍처 문제를 해결함으로써 성능과 효율성을 크게 향상시킬 수 있습니다.

AI 데이터 개발의 다음 단계는 모델 훈련을 위해 거의 소진된 인터넷 데이터를 넘어 강화 학습(RL) 환경 짐을 통한 모델 자체 개선으로 나아갈 것입니다. 전문가 수준의 피드백과 검증 가능한 환경(코딩 및 수학 등)이 이제 무작위 사용자 상호 작용보다 더 가치 있습니다. 이 접근 방식은 모델이 구조화된 환경에서 기능을 개선할 수 있도록 하여 더욱 강력하고 정확한 AI로 이어지며, 데이터 획득 및 활용에서 중요한 진화를 나타냅니다.

커널 엔지니어링에만 특화하는 것은 가장 의미 있는 장기 경쟁 우위로 간주되지 않습니다. 대신 Neil Movva는 Mythos 또는 GB 5.6과 같은 커널 최적화의 발전이 모든 사람에게 이익이 되는 표준 기능이 되고 있다고 주장합니다. 특히 코드 생성의 프론티어 모델 기능은 업계 전반의 공유 기본선으로 발전하고 있습니다. 따라서 성능에 매우 중요하지만, 커널 엔지니어링 개선은 독점적인 우위를 제공하기보다는 모든 배를 들어 올립니다.

투기적 인프라 투자에 의해 주도되었던 닷컴 시대와 같은 과거의 하드웨어 붐과는 달리, AI 추론 소비는 즉각적으로 가치 있고 투기적이지 않습니다. 토큰은 비축되지 않고 즉시 사용하기 위해 구매되며, 이는 실제 수요를 나타냅니다. 이러한 즉각적인 유용성은 추론 지출이 기업 클라우드 한도에 도달하게 했으며, 시장이 예상되는 미래의 필요가 아닌 실제 소비에 의해 주도된다는 것을 보여주어 AI 자원 수요의 지속적인 성장을 보장합니다.

추론 워크로드는 점점 더 분산형 1메가와트 데이터 센터에 적합하며, 대규모 훈련 클러스터의 거대한 중앙 집중식 전력 요구 사항에 대한 실행 가능한 대안을 제공합니다. 기존 데이터 센터의 집중 전력 확보가 점점 더 어려워지는 점을 고려할 때 이러한 더 작고 분산된 시설을 구축하는 것이 더 실현 가능합니다. 액체 냉각 기술은 메가와트를 약 8개의 랙에 채워 높은 전력 밀도를 가능하게 하여 공간과 자원을 효율적으로 사용하도록 하는 데 중요한 역할을 합니다.

Sail Research는 타의 추종을 불허하는 경제성을 달성하기 위해 전통적인 데이터 센터의 중복성을 의도적으로 희생하는 급진적인 접근 방식을 채택하고 있습니다. 여기에는 백업 디젤 발전기 제거, 중복 네트워킹 제거, 단일 소스 전력 및 광섬유 회선으로 작동하는 것이 포함됩니다. 이 전략은 95%의 가동 시간을 허용하는 것을 포함하며, 이는 지속적인 즉각적인 가용성을 요구하지 않는 장기 백그라운드 AI 에이전트에게는 허용 가능한 절충안으로 간주됩니다. 이러한 공격적인 비용 절감 조치는 AI 토큰 비용을 대폭 절감하려는 이들의 핵심 임무입니다.

Neil Movva는 성능 엔지니어에게 특정 AI 경험보다 호기심과 '성능에 대한 사랑'이 가장 중요한 특성이라고 강조합니다. 그는 CUDA 또는 GPU 개념이 너무 빠르게 진화하여 장기적인 전문 경험이 미세초 수준에서 기계가 어떻게 작동하는지 깊이 이해하려는 근본적인 호기심과 동기보다 덜 관련성이 높다고 지적합니다. 성능 최적화에 대한 이러한 타고난 열정은 가르칠 수 없으며 AI 인프라의 효율성 한계를 뛰어넘는 데 중요합니다.

Sail Research의 궁극적인 사명은 AI 토큰 비용을 3~6자릿수 줄여 인간적으로 가능한 한 저렴하게 만드는 것입니다. 이 야심찬 목표는 AI를 값비싼 컨설턴트 모델에서 모든 사람이 접근할 수 있는 유비쿼터스 맞춤형 에이전트 시스템으로 전환하는 것을 목표로 합니다. 이 전략은 공급 측면의 지렛대를 극대화하고 전례 없는 비용 효율성을 달성하기 위해 비전통적인 전원, 다양한 칩 아키텍처, 미국 전역의 가용 토지를 포함한 AI 스택의 모든 계층을 활용하는 것을 포함합니다.

새로운 하드웨어 기업가는 성공하기 위해 현대 칩 공급망의 중요한 병목 현상을 식별하고 해결해야 합니다. 여기에는 TSMC 웨이퍼 용량, HBM 용량, 고급 패키징 및 전원 공급 장치가 포함됩니다. 성공은 현재 시장 리더인 Nvidia가 '삐죽거리거나' 최적화되지 않은 부분이 어디인지 이해한 다음, 해당 특정 저평가된 방향으로 전략적으로 나아가는 데 달려 있습니다. 공급망 제약을 극복하는 데 초점을 맞춘 이 접근 방식은 신규 진입자가 경쟁 우위를 확보하는 데 필수적입니다.