프랙타일, 고속 AI 추론 칩에 주력

2022년 중반에 설립된 프랙타일은 '테스트 시간 컴퓨팅'을 통해 긴 컨텍스트 처리를 지원하면서 모델을 더 빠르게 실행할 수 있도록 고속 추론에 중점을 둡니다.

이 회사의 핵심 목표는 긴 컨텍스트 처리의 요구 사항을 완전히 지원하면서 모델이 기존 칩보다 훨씬 빠른 속도로 작동할 수 있도록 하는 것입니다.

이러한 아키텍처 전략은 모델 성능을 효율적으로 확장하도록 설계된 방법인 '테스트 시간 컴퓨팅'을 우선시하며, 알파고와 같은 시스템에서 관찰되는 운영 확장과 유사점을 찾습니다.

구글의 TPU, 메타의 MTIA, 마이크로소프트의 마야와 같은 하이퍼스케일러 및 다양한 회사의 제품을 포함한 많은 현대 AI 칩은 주로 표준 산업 구성 요소를 활용합니다.

이러한 칩은 고대역폭 메모리(HBM), 행렬 곱셈에 최적화된 텐서 코어, TSMC의 고급 패키징 기술과 같은 공통 요소를 자주 공유합니다.

상당수의 독점 칩 이니셔티브는 브로드컴과 같은 ASIC 회사와의 파트너십을 통해 실행되어 업계 전반에 걸쳐 다양하면서도 근본적으로 유사한 하드웨어 설계를 만들어냅니다.

현재 소수의 팀만이 초기 아키텍처 설계부터 물리적 구현, 그리고 파운드리와의 후속 상호 작용에 이르기까지 전체 실리콘 스택을 탐색하는 데 필요한 포괄적인 전문 지식을 보유하고 있습니다.

대부분의 회사는 복잡한 백엔드 물리적 설계 프로세스를 전문 ASIC 회사에 위임하여 전체 개발 라이프사이클에 대한 직접적인 제어를 제한합니다.

프랙타일은 아키텍처 및 물리적 설계 레이어 모두에 대한 내부 제어를 유지함으로써 칩 개발에 대한 보다 통합되고 맞춤화된 접근 방식을 가능하게 합니다.

텐서 코어 개발과 같이 AI 모델에서 발견되는 방대한 양의 행렬 곱셈과 하드웨어를 정렬함으로써, 아키텍트들은 추상적인 모델 동작을 최적화된 회로로 변환합니다.

'텐서 코어'의 생성은 아키텍트가 하드웨어를 최적화하는 방법을 보여줍니다. 이 경우 AI 모델에 내재된 방대한 양의 행렬 곱셈을 위해 최적화하며, AI 모델 동작에 대한 통찰력과 결합된 깊은 하드웨어 이해의 필요성을 입증합니다.

프랙타일은 약 150명의 직원으로 구성된 팀을 운영하며, 여기에는 프론트엔드 설계자, 물리적 설계 전문가, 전담 백엔드 구현 팀이 포함됩니다.

고급 패키징 및 설계 프로세스에 대한 이러한 사내 제어는 더욱 민첩하고 폐쇄 루프 개발 주기를 촉진하여 외부 파트너에 대한 의존도를 줄입니다.

통합된 구조는 복잡한 설계 단계 아웃소싱과 관련된 위험을 완화하여 개념부터 배포까지 더 큰 일관성과 효율성을 보장합니다.

이 회사는 모델 배포와 관련된 한계 비용이 모든 단일 상호 작용 또는 쿼리에서 발생하는 지속적인 비용임을 확인했습니다.

이러한 초기 전략적 결정은 칩 설계에서 속도를 근본적인 아키텍처 동인으로 우선순위화하는 것으로 이어졌습니다.

프랙타일은 컴퓨팅 유닛과 메모리 간에 달성 가능한 높은 대역폭을 활용하기 위해 처음에는 SRAM 기반 칩을 사용했습니다.

SRAM 기술은 가중치 및 KV 캐시를 컴퓨팅 로직에 가깝게 유지하여 초당 수천 개의 토큰을 처리할 수 있도록 하여 운영 효율성을 향상시켰습니다.

그러나 2023년 말부터 2024년까지 모델 매개변수 및 컨텍스트 길이의 급격한 증가로 인해 이 접근 방식의 확장성에 대한 우려가 제기되어 메모리 전략을 재평가하게 되었습니다.

프랙타일은 메모리 공급업체 및 로직 파운드리 파트너와 적극적으로 협력하여 고용량 DRAM에 대한 초고대역폭 액세스를 확보하고 있습니다.

이 팀은 이전의 확장성 우려를 해결하기 위해 필요한 작동 속도를 유지하면서 용량 제한을 극복하기 위해 전략적으로 SRAM에서 DRAM으로 전환하고 있습니다.

이 통합 접근 방식은 내년 하반기에 생산 및 배포를 시작할 새로운 플랫폼을 생산할 것으로 예상됩니다.

데이터 센터 수준에서 추론을 확장하려면 기가바이트당 비용을 최소화해야 하므로, 프랙타일은 저비용 DRAM에서 고대역폭을 기본 구성 요소로 우선순위화합니다.

데이터 센터 수준에서 추론을 효과적으로 확장하려면 메모리 기가바이트당 비용을 최소화하는 것이 중요합니다. 이는 대규모 AI 배포의 경제적 타당성에 직접적인 영향을 미치기 때문입니다.

프랙타일은 저비용 DRAM에서 공격적인 대역폭을 달성하는 경로 개발을 AI 인프라의 미래에 필수적인 기본 구성 요소로 봅니다.

AI 모델은 몇 주마다 상당한 진화를 겪으며, 기존 칩 배송 주기가 따라잡기 어려운 과제를 만듭니다.

칩 설계는 메모리 대역폭 증가 및 효율적인 저배치 자동 회귀 생성과 같은 모델 전반에 걸친 반복적인 요구 사항에 의해 좌우됩니다.

프랙타일은 AI 우선 설계 프로세스를 개발하여 전체 종단 간 스택을 관리하고 어텐션 메커니즘 및 희소성의 발전에 더 빠르게 대응할 수 있도록 합니다.

암달의 법칙은 칩 설계 프로세스 내에 지속되는 조직적 병목 현상에 대한 관련 비유를 제공합니다.

전통적인 프론트엔드 칩 설계는 일반적으로 약 12개월이 걸릴 수 있으며, 긴 개발 주기에 기여합니다.

잠재적인 설계 가속화에도 불구하고 팹 사이클 시간과 같은 산업 전반의 병목 현상은 여전히 제약으로 작용하며, 생산에는 여전히 3~5개월이 필요합니다.

NVIDIA의 현재 시스템은 복잡한 생태계를 특징으로 하며, 종종 6~9개의 맞춤형 칩으로 구성되며, 모두 내부적으로 개발됩니다.

칩 설계의 생산성 증가는 기업이 더 많은 '목표를 향한 시도'를 할 수 있도록 하여 지속적인 혁신적인 시도를 가능하게 합니다.

칩 개발 주기에서 3~6개월의 구조적 이점을 달성하는 것은 현재 시장에서 엄청난 경쟁 차별화 요소가 될 수 있으며, 배포에서의 지배력을 보장합니다.

유명한 반도체 CEO는 칩 설계에서 완전한 의도-GDS2 파일 자동화를 달성하는 데 10년이 걸릴 것이라고 예측했습니다.

굿윈은 기존 타임라인을 4로 나누는 휴리스틱을 제안하며, 종단 간 AI 기반 프로토타이핑이 향후 몇 년 내에 나타나 개발 일정을 크게 단축할 수 있다고 말합니다.

워크플로우의 내재된 지연 시간을 나타내며, 기존의 배치 및 라우팅 도구는 초기 아키텍트 설계에서 GDS2 파일을 생성하는 데 며칠이 걸리는 경우가 많습니다.

이러한 전통적인 알고리즘 접근 방식은 워크플로우에 내재된 지연 시간을 도입하여 아키텍처 의도에서 최종 GDS2 파일로의 전환을 계산 집약적이고 시간이 많이 소요되는 프로세스로 만듭니다.

AI 지능이 발전함에 따라 실험 자체가 개발 프로세스에서 주요 병목 현상이 되는 경우가 많습니다.

이는 잠재적으로 비용이 많이 드는 실험을 시작하기 전에 광범위하고 인간 수준의 추론과 심의에 대한 헌신이 필요합니다.

프랙타일은 회로의 물리적 배치 이전에 더 깊은 추론 토큰을 촉진하여 복잡한 문제 해결을 가속화하고 설계 워크플로우를 효과적으로 최적화하는 것을 목표로 합니다.

아키텍처 설계는 현재의 자동 회귀 트랜스포머를 지원하는 동시에 전통적인 '플롭 스케일링'을 넘어 '대역폭 스케일링'을 통합하는 새로운 스케일링 법칙을 포함하여 모델 설계의 새로운 패러다임을 적극적으로 탐구합니다.

프랙타일의 칩은 기존 HBM 기반 칩에 비해 칩당 25배 더 많은 대역폭을 제공하도록 설계되어 새로운 모델 아키텍처의 지평을 열고자 합니다.

전문가 혼합(MoE) 모델은 희소성이 증가할 때, 예를 들어 6분의 1에서 128분의 1 또는 256분의 1로 증가할 때 뛰어난 성능을 달성합니다.

그러나 현재 HBM 기반 GPU 및 XPU는 이러한 희소 모델을 효율적으로 제공하려고 할 때 종종 상당한 대역폭 병목 현상을 겪습니다.

이러한 모델에 대한 추론은 일반적으로 매우 낮은 메모리 플롭스 활용률(MFU)을 초래하며, 이는 메모리 제약으로 인한 계산 리소스의 활용 부족을 나타냅니다.

지난 20년 동안 메모리 대역폭은 원시 컴퓨팅/플롭스(1,000,000배)에 비해 훨씬 느린 속도(40배)로 확장되었으므로, 주어진 수준의 모델 지능을 달성하는 데 필요한 계산 능력을 줄이려면 메모리 대역폭 개선이 중요합니다.

공통 플랫폼에 의존하는 것은 검증되지 않은 단일 하드웨어 생태계에 갇힐 위험을 완화하며, 최첨단 AI 연구소는 이를 현재 실존적 위협으로 간주합니다.

경쟁사가 다른 하드웨어 아키텍처에 묶인 계산 혁신을 개발하면 연구소는 새로운 모델을 배포하는 데 상당한 9개월 지연을 겪을 수 있으며, 이는 상당한 경쟁 불이익을 초래합니다.

공통 플랫폼을 표준화하면 최적화되지 않은 하드웨어 생태계에 갇힐 위험을 완화하여 연구소가 미들웨어 및 모델 가중치에 경쟁 노력을 집중할 수 있도록 합니다.

프랙타일과 같은 타사 칩 공급업체는 최첨단 워크로드의 특정 요구 사항에 맞춰 위험한 독점 하드웨어 사일로에 연구소를 강요하지 않고 특수 하드웨어 솔루션을 제공하는 것을 목표로 합니다.