AI 컴퓨트는 왜 직사각형으로 팔리나: Modal CEO 에릭 번하즈슨의 설명

번하즈슨은 AI 인프라를 직접 짓는 것이 가장 쉬운 방법은 아니라는 입장에서 출발했다고 말했다. 그래서 Modal은 컴퓨트 플랫폼과 스토리지 플랫폼을 함께 제공한다고 설명했다.

그는 Nine, Suno, Runway, Cognition 같은 회사들을 고객으로 언급하며, 이들이 AI 애플리케이션을 만드는 데 Modal을 쓴다고 소개했다. 실제로 추론, 파인튜닝, 배치 작업과 샌드박스 실행이 SDK 하나로 이뤄지고, 확장과 배포는 플랫폼이 맡는 구조라고 설명됐다.

번하즈슨은 대학을 마친 뒤 2008~2009년쯤 Spotify에 합류해 7년간 일했다. 그는 이 기간 가장 중요한 기여로 음악 추천 시스템의 첫 버전을 꼽았고, 대부분의 시간을 그 시스템을 만들고 작은 팀을 꾸리는 데 썼다고 말했다.

이 과정에서 추천 기능, Discover Weekly, 관련 아티스트 기능 같은 제품을 다뤘다고 설명됐다. 행렬 분해처럼 계산량이 많은 작업이 많았는데, 이런 경험이 나중에 대규모 연산을 다루는 관점으로 이어졌다는 취지로 이야기했다.

번하즈슨은 Modal 초기에 목표가 클라우드에서 코드를 쉽게 돌리는 것이었다고 말했다. GPU에서 돌아가는 코드, 머신러닝 작업, 데이터 처리 작업이 모두 대상이었고, 그 과정에서 확장과 개발자 경험을 어떻게 높일지가 핵심 고민이었다고 설명했다.

그러던 중 Stable Diffusion이 나오자 많은 사람이 모델을 돌리려고 회사를 찾아왔다. 당시 회사는 네다섯 명 규모였다고 그는 말했다. 이 수요를 계기로 생성 AI 추론이 좋은 사용처라는 판단이 생겼다고 설명했다.

이 시기 그는 스택 깊은 곳까지 들어가 자체 파일 시스템과 컨테이너 런타임을 만들어야 한다는 점을 일찍 깨달았다고 말했다. 그 과정에서 어려운 엔지니어링 문제를 여럿 풀었다고 설명했다.

번하즈슨은 GPU가 매우 비싸서 용량과 사용률을 함께 관리해야 한다고 말했다. 여기에 아주 큰 모델을 네트워크를 통해 CPU와 GPU로 올려야 하는 문제가 더해진다고 설명했다.

그는 기존 도구들이 AI 워크로드를 위해 만들어진 것이 아니라고 보았다. 그래서 Modal은 GPU 스냅샷, 자동 확장기, 스케줄러 같은 도구를 직접 만들었다고 말했다. 이 작업에 오랜 시간이 들었다는 점도 함께 언급했다.

번하즈슨은 하드웨어를 직접 사면 벤더, 전력, 케이블 등 운영 복잡성이 늘어난다고 말했다. 이런 자산은 매우 비싸며, 시간이 지나면서 이를 떠안는 것이 쉽지 않다는 취지로 설명했다.

자금 조달도 쉽지 않다고 했다. 주식은 비싸고 부채는 장기 수익을 잠그는 조건을 요구한다는 것이다. 그는 AI 투자 규모가 미국 GDP의 여러 %포인트로 커지고 있고, 최근 금리가 오르는 흐름을 본다고 말했다. 소프트웨어 회사가 하드 자산을 떠안는 방식은 대체로 맞지 않는다는 것이 그의 판단이었다.

번하즈슨은 대안 가속기들이 흥미롭게 시작됐다고 평가했다. AMD가 일부 워크로드에서 좋은 성능을 내기 시작했고, 구글 TPU가 널리 쓰이는 것으로 본다고 말했다.

그는 과거에도 해마다 엔비디아 외 가속기의 해가 온다고 말해 왔는데 자주 틀렸다고 웃으며 밝혔다. 그럼에도 2027년쯤에는 엔비디아 외 가속기의 비중이 실제로 커질 것이라고 전망했다. 세레브라스 같은 회사에서 용량을 사는 사례도 살펴볼 대상이라고 덧붙였다.

번하즈슨은 신흥 GPU 클라우드가 빠르게 커질 수 있는 이유로 대형 구매자와의 장기 계약을 들었다. 예를 들어 대형 구매자가 5년치 칩 계약을 맺으면, 그 계약을 근거로 자금을 조달해 하드웨어를 사서 설치하는 방식이다.

이 구조에서는 아직 사지 않은 용량을 계약으로 먼저 팔 수 있어 확장 속도가 빨라진다고 설명했다. 반면 Modal은 이런 장기 계약으로 용량을 잠그는 방식을 쓰지 않기 때문에 재무적으로 확장이 더 어렵다고 말했다.

번하즈슨은 Modal이 2021년 서버리스 함수로 시작했다고 말했다. 배포와 확장이 쉬운 개념이었지만, 특정 GPU나 특정 하드웨어 상품처럼 고정된 형태는 아니었다고 설명했다. 2023년에는 제품 시장 적합성을 확인했다고 덧붙였다.

이후 LLM이 코드를 생성하면서 그 코드를 돌릴 격리된 실행 공간, 즉 샌드박스 수요가 생겼다고 말했다. 현재 샌드박스는 전체 매출의 약 3분의 1이고, 함수 매출은 약 3분의 2라고 전해졌다. 번하즈슨은 Modal을 단순한 GPU 클라우드로 보지 않았다고 말했다.

번하즈슨은 Modal이 처음에 G Visor 기반으로 샌드박스 제품을 만들었지만, 지금은 완전한 가상 머신도 제공한다고 말했다. 완전한 리눅스 호환이 필요한 사용 사례가 늘었기 때문이라는 취지다.

그는 수십만 혹은 수백만 개의 샌드박스를 운영하는 규모에서는 시스템을 여러 번 다시 쓸 수 있다고 말했다. 샌드박스 간 데이터 전송, 파일 시스템 조작, 스냅샷, 포킹, 라이브 마이그레이션 같은 기능도 다루고 있다고 설명했다.

번하즈슨은 에이전트 워크로드가 샌드박스를 잠깐 띄웠다가 끄는 패턴을 자주 보인다고 말했다. 한 명령을 실행하기 위해 샌드박스를 띄우고 스냅샷을 찍는 식이다. 그는 이런 패턴에서 흥미로운 가능성이 많다고 봤다.

예를 들어 테스트 스위트를 스냅샷으로 복제하면 각 테스트를 독립된 샌드박스에서 나눠 돌릴 수 있다고 설명했다. 다만 샌드박스 시작과 종료의 오버헤드가 낮아야 이런 병렬화가 실익을 준다는 조건도 함께 언급했다.

번하즈슨은 Modal이 보안을 매우 진지하게 다룬다고 말했다. 다만 Modal에서 돌아가는 앱이 해킹당한 사례가 있어도 플랫폼 자체가 뚫린 것은 아니라고 구분했다. 그는 이를 AWS에서 앱이 해킹되는 일과 비슷하게 봤다.

과거 S3는 버킷을 실수로 공개하기가 너무 쉬웠고, AWS가 기본값을 바꾼 사례가 있다고 번하즈슨은 언급했다. Modal도 편의성을 해치지 않으면서 기본 보안 제약을 더 두는 방법을 찾고 있다는 취지로 말했다.

번하즈슨은 샌드박스를 YAML 같은 설정 파일로 선언하던 방식에서, 샌드박스를 띄우고 실행하고 종료하는 일을 코드로 제어하는 방식으로 옮겨 가야 한다고 말했다. 그는 이 흐름이 개발자 경험뿐 아니라 에이전트 경험도 좋게 만든다고 봤다.

그는 샌드박스 개념은 처음부터 이런 방식이었다고 설명하며, 앞으로는 프로그램적 인터페이스가 더 중요해질 것이라고 말했다. SDK가 지금까지도 중요했던 만큼, 앞으로도 그 중요성이 같거나 더 커질 것이라는 판단이다.

번하즈슨은 Modal이 서비스 중심 사업이 되려는 목적이 없다고 말했다. FDE의 역할은 영업 과정에 참여해 거래를 마무리하고, 다른 플랫폼에서 코드를 옮기도록 돕는 일이라고 설명했다. 다만 FDE가 하는 일을 장기적으로 제품화해 FDE가 필요 없도록 만드는 것이 핵심 질문이라고 말했다.

그는 10~20명의 고객이 조금씩 다른 것을 요청할 때 공통 패턴을 찾아 제품 기능으로 만든다고 설명했다. 고객 대면 측면에서는 FDE가 PM보다 더 신중하게 움직인다는 점도 함께 짚었다.

번하즈슨은 Modal에서 코드 리뷰가 필수가 아니고 선택 사항이라고 말했다. 대신 배포 책임을 피하려는 경우가 있다면 CI, CD, 자동화 검증을 강화해야 한다고 설명했다.

그는 에이전트가 최근 테스트를 잘 작성하게 되었다고 평가했다. 좋은 테스트 커버리지와 장애 지점 분리가 중요하며, 속도 제한과 시스템 분리 같은 방어적 설계로 단일 실패 지점을 없애야 한다고 말했다. 이런 방식이 개발 효율을 돕는다고 봤다.

번하즈슨은 가상으로 10억 달러를 조달한다면 그 돈은 대부분 GPU 용량을 미리 사는 데 쓰일 것이라고 말했다. 인건비와 사무실 비용도 있지만, GPU 비용에 비하면 상대적으로 작다는 설명이다.

그는 이 사업에서 운영 레버리지가 특히 크다고 언급했다. 고객 자체 클라우드를 연결하는 BYOC 같은 방식도 흥미로운 아이디어라고 말했지만, 실제로 적용할지는 확실하지 않다고 덧붙였다.

번하즈슨은 샌드박스가 지금 Modal 매출의 약 3분의 1을 차지한다는 점이 놀랍다고 말했다. 이 사업은 매달 약 30%씩 성장하고 있으며, 샌드박스의 평균 수명은 현재 8초 안팎이고 앞으로 더 짧아질 것이라고 그는 내다봤다.

그는 2023년에는 샌드박스가 이렇게 커질 줄 몰랐고, 시장 수요가 예상보다 훨씬 크다고 말했다. 다만 이 성과를 자신이 모두 예측했던 것은 아니라고 선을 그었다.