AI의 인프라 위기: 실리콘에서 구리 광산까지

마틴 카사도(Martin Casado)는 기존 컴퓨팅 논의가 서버와 스토리지에 초점을 맞추는 것과는 달리, AI 인프라는 원자재, 심지어 구리 광산까지도 다룬다고 언급했습니다. 이러한 광범위한 범위는 칩, 시스템 소프트웨어 및 전력과 같은 핵심 구성 요소가 중요하며, 문제의 본질을 엔지니어링 문제에서 물리적 자원에 의해 제한되는 문제로 근본적으로 전환시킨다는 것을 의미합니다.

AI를 위한 현재 비즈니스 모델은 이러한 자원 집약적 작업을 처리하도록 기존 시스템이 설계되지 않았기 때문에 엄청난 압력을 받고 있습니다. 라구 라구람(Raghu Raghuram)은 많은 효율성이 이제 엄격하게 하드웨어의 물리적 한계라고 강조했습니다. 이는 AI 기업의 수익성이 물리적 하드웨어의 효율성에 점점 더 좌우되며, 성장을 지원하고 비즈니스 가치를 제공하기 위해 시스템 구성 요소의 근본적인 변화가 필요하다는 것을 의미합니다.

마틴 카사도(Martin Casado)는 전력, 냉각, 메모리 및 GPU와 같은 필수 자원이 모두 부족하다고 지적했습니다. 한 주요 메모리 공급업체는 현재 수요만으로도 3년치 생산 능력이 필요할 것이라고 보고했는데, 이는 미래 예측이 아닌 현재의 필요를 반영하는 이러한 부족의 즉각적이고 심각한 본질을 강조합니다.

마틴 카사도(Martin Casado)는 머신러닝 산업은 일반적으로 20~30%의 성장률을 보이는 반면, AI 소프트웨어 산업은 세 자릿수 성장을 경험하고 있다고 강조했습니다. 소프트웨어 수요 증가와 하드웨어 공급 가용성 사이의 이러한 상당한 불균형은 산업 확장에 결정적인 병목 현상을 만듭니다.

마틴 카사도(Martin Casado)는 역사적으로 복잡한 시스템을 구축하는 것은 엔지니어링 문제였으며, 더 많은 엔지니어를 추가하는 것이 종종 수확 체감 법칙으로 이어진다는 '신화적인 인월(man-month)' 개념이 있다고 언급했습니다. 그러나 AI 확장은 이제 토큰, GPU, 전력과 같은 유한한 컴퓨팅 자원에 의해 주로 제한됩니다. 인간 엔지니어링 제약과 달리, 현재 AI 모델 구축에는 이러한 자원 집약적 성장을 관리할 자연적인 규제 메커니즘이 없습니다.

상당한 자본을 투자하는 능력은 AI 연구 개발을 직접적으로 가속화합니다. 벤 호로위츠(Ben Horowitz)는 단순히 더 많은 엔지니어를 추가하는 것이 생산성을 비례적으로 증가시키지 않는다고 제안했던 전통적인 '신화적인 인월' 원칙이 하드웨어 중심 AI 발전에는 더 이상 적용되지 않는다고 설명했습니다. 대신, 대규모 GPU 클러스터에 대한 상당한 재정적 투자는 스타트업이 기존 업체들이 오랫동안 유지해 온 선두를 빠르게 극복할 수 있도록 합니다. 이는 재정 자원이 이제 AI 분야에서 지능과 혁신을 창출하는 직접적인 촉매제임을 의미합니다.

마틴 카사도(Martin Casado)는 AI 에이전트를 특별한 액세스 키를 부여하는 대신 각각 자체 컴퓨터와 브라우저를 가진 직원으로 취급하는 접근 방식을 강조했습니다. 이러한 변화는 토큰 비용 관리, 환각 완화, 보안 위험 해결과 같은 문제에도 불구하고 이러한 지능형 모델이 직원이 수행할 작업을 수행할 수 있도록 합니다.

벤 호로위츠(Ben Horowitz)는 회사가 AI를 통해 인력을 '초인적'으로 만드는 데 중점을 두고 있으며, 운영을 불안정하게 만들거나 통제 불능의 AI 에이전트로 이어질 수 있는 완전 자동화를 신중하게 피하고 있다고 설명했습니다. 이러한 접근 방식은 효과적인 인간-에이전트 협력을 위한 학습 곡선과 조직 내에서 인간 생산성을 보존하는 것을 강조합니다.

산업은 개별 AI 모델을 위한 애플리케이션 특정 집적 회로(ASIC)를 구축하는 것이 경제적으로 합리적인 지점에 도달하고 있습니다. 마틴 카사도(Martin Casado)는 특정 AI 모델 개발에 대한 상당한 자본 투자가 맞춤형 하드웨어 제작을 정당화한다고 언급했습니다. 전통적인 동적 소프트웨어와 달리, AI 모델은 점점 더 고정 자산으로 취급되고 있으며, 각 모델의 최대 효율성과 성능을 위해 맞춤화된 하드웨어 특정 최적화로 자본 투자의 전환을 이끌고 있습니다.

기존 인프라, 특히 데이터 센터 설계는 밀집된 AI 워크로드 요구 사항으로 인해 빠르게 노후화되고 있습니다. 마틴 카사도(Martin Casado)는 많은 현재 건물 아키텍처가 이미 부적합하며, 특히 기술이 파인만과 같은 개념으로 발전함에 따라 더욱 그렇다고 강조했습니다. 새로운 물리적 제약으로는 더 무거운 장비를 지탱하기 위한 더 강한 콘크리트와 하중 지지 바닥의 필요성이 있습니다. 또한, AI 하드웨어에서 발생하는 높은 소음 수준은 지역 사회 표준을 준수하기 위해 더 두꺼운 벽을 필요로 하여 또 다른 물리적 제한을 추가합니다.

마틴 카사도(Martin Casado)는 데이터 센터 확장이 허가와 충분한 전력 접근의 필요성에 의해 제한된다고 강조했습니다. 표준 건설 외에도 전력 인프라에 필수적인 변압기와 터빈과 같은 핵심 구성 요소의 부족도 있습니다. 이는 AI 개발이 이제 순전히 소프트웨어 중심의 고려 사항을 넘어 물리적 세계의 문제에 의해 깊이 영향을 받는다는 것을 강조합니다.

'인공 지능'이라는 용어는 AI의 현재 상태를 설명하기에는 시대에 뒤떨어진 부정확한 용어로 간주됩니다. 라구 라구람(Raghu Raghuram)은 '인공 지능'이 70년 된 용어이며 현재의 현실을 반영하지 않는다는 점을 지적하며 '기계 지능'이 더 적절한 용어라고 제안했습니다. AI의 현재 발전은 미성숙한, 진정한 인공 지능보다는 집단적 인간 지식과 기계의 물리적 능력에 크게 의존합니다. '기계 지능'을 채택하는 것은 하드웨어 제한적 성장과 AI 발전에서 물리적 인프라의 근본적인 역할에 대한 중요한 전환을 인정하는 것입니다.

크고 확고한 기업들은 종종 그들의 거대한 규모 때문에 매우 가치 있을 수 있는 작은 시장 기회를 간과합니다. 마틴 카사도(Martin Casado)는 '금 벽돌'과 '은 벽돌'의 비유를 사용하여, 주요 기회가 풍부한 대기업들은 작지만 가치 있는 틈새 시장을 추구하는 경향이 적다고 설명했습니다. 페이스북/메타의 스타트업 통합에 대한 초기 접근 방식에서 예시된 이 현상은 기존 기업들이 AI 인프라 공간에서 민첩한 스타트업에게 판도를 바꿀 수 있는 작고 가치 높은 기회를 구조적으로 간과하는 경향이 있음을 의미합니다.

전통적인 소프트웨어와 달리, AI 수익성은 이제 인프라 효율성과 직접적이고 크게 연관되어 있습니다. 마틴 카사도(Martin Casado)는 업계가 과거에는 전례 없었던 방식으로 하드웨어 최적화가 비즈니스의 재정적 이익에 매우 중요한 시대에 진입하고 있다고 말했습니다. 이는 칩, 메모리 및 냉각 시스템의 세심한 최적화가 AI 비즈니스의 성공과 수익성에 직접적인 영향을 미치며, 하드웨어가 재무 성과의 주요 동인이 되도록 합니다.

현재 시장 역학은 AI 연구실과 스타트업 간의 더 깊은 참여를 촉진하고 있으며, 이는 연구실의 하드웨어 솔루션에 대한 긴급한 필요성에 의해 주도됩니다. 마틴 카사도(Martin Casado)는 AI 연구실이 이제 하드웨어 제품이 완전히 개발되기 전에도 스타트업과 적극적으로 협력하고 있다고 관찰했습니다. 이는 투자자들에게 조기에 구체적인 신호를 제공하는데, 5년 전에는 그러한 조기 협력이 드물었던 상황과는 대조적입니다. 자본의 가용성 증가는 이전에 업계에서 간과되었지만 이제 AI 발전에 중요한 인프라 투자를 더욱 장려합니다.

마틴 카사도(Martin Casado)는 파트너들의 오랜 하드웨어 경력이 스페이스X(SpaceX) 및 웨이모(Waymo)와 같은 기존 투자에 이르기까지 이 영역으로 자연스럽게 이끈다고 설명했습니다. 기반 인프라에 대한 이러한 전략적 초점은 AI 및 기타 첨단 기술을 구동하는 기본 물리적 역량에 투자함으로써 미국이 기술 리더십을 유지하도록 보장하는 것을 목표로 합니다.