아카마이 함수, AI 콜드 스타트 제로 달성

토르스텐 한스(Thorsten Hans)에 따르면 컨테이너 및 VM의 콜드 스타트는 수 초에서 수 분까지 걸릴 수 있으며, 이를 해결하기 위한 과도한 프로비저닝은 클라우드 비용과 환경 영향을 증가시킵니다.

AI 에이전트 및 관리형 제어 플레인(MCP)의 성능은 배포 위치에 따라 크게 달라질 수 있어 사용자 경험의 일관성이 저해되며, 컨테이너 및 가상 머신 설정은 종종 수 초에서 수 분에 이르는 콜드 스타트 지연을 겪어 실시간 애플리케이션 응답성을 저해합니다.

WebAssembly 바이너리는 작고 휴대 가능하며 빠르게 실행됩니다. 서버에서는 컨테이너가 가상 머신에서 작동하는 것과 유사하게 작동합니다.

토르스텐 한스(Thorsten Hans)는 WebAssembly가 컨테이너가 가상 머신과 관련되는 것과 유사하게 서버에서 기능하며, 작은 크기, 쉬운 배포, 빠른 실행 기능을 강조한다고 언급했습니다.

클라우드 네이티브 컴퓨팅 재단 프로젝트인 Spin은 CLI, Wasmtime 기반 런타임, 그리고 개발자가 HTTP 요청 및 데이터베이스 상호 작용과 같은 일반적인 작업을 처리하는 데 도움이 되는 언어별 SDK로 구성됩니다.

이 프레임워크는 WebAssembly로 컴파일되는 모든 언어를 지원하며, 개발을 위한 명령줄 인터페이스(CLI), Wasmtime 기반 런타임, 그리고 HTTP 요청 및 데이터베이스 상호 작용과 같은 일반적인 작업을 관리하기 위한 언어별 SDK를 제공합니다.

이 플랫폼은 모든 인프라를 관리하여 Terraform과 같은 수동 구성 도구의 필요성을 없애고, WebAssembly 샌드박싱을 통해 보안을 강화하며, 지속성을 위한 내장형 다중 테넌트 키-값 저장소를 포함합니다.

WMCP는 Spin과 통합되는 명령줄 인터페이스(CLI) 역할을 하며, 관리형 제어 플레인(MCP) 서버 생성을 간소화합니다.

이 통합을 통해 개발자는 OAuth2 및 OIDC와 같은 비기능적 요구 사항이 WMCP 구성 요소에 의해 자동으로 처리되므로, 프로토콜 구현의 복잡성보다는 도구, 리소스 및 프롬프트 구현과 같은 핵심 비즈니스 로직에 집중할 수 있습니다.

개발자는 Rust, TypeScript 또는 Python 템플릿 중에서 선택하고, 입력 스키마를 정의하며, 언어 모델(LLM) 호환성을 위한 정확한 설명을 포함한 도구를 나열하고, 페이로드를 특정 핸들러로 라우팅하는 '도구 호출' 함수에 도구 실행 로직을 중앙 집중화할 수 있습니다.

그 다음 'wasmcp compose' 명령은 이러한 도구들을 완전한 MCP 서버로 통합하고, 데모 목적으로 불필요한 인증을 건너뛰며, Spin은 localhost:3000에서 로컬로 서버를 실행하는 데 사용되고, MCP Inspector는 도구 연결 및 실행을 확인하는 브라우저 기반 클라이언트 역할을 합니다.

Thorsten Hans에 따르면 Rust로 작성된 의사 결정 로그 관리 제어 평면(MCP) 서버는 상태 저장을 사용하여 고급 기능을 보여줍니다.

로컬 개발 중에 Spin은 키-값 저장을 위해 SQLite를 자동으로 사용하지만, 아카마이 함수에서는 동일한 코드가 추가 구성 없이 전 세계적으로 분산된 키-값 저장소를 원활하게 활용합니다.

배포 프로세스에는 애플리케이션 매니페스트를 업데이트하고 'spin akamai deploy' 명령을 사용하여 워크로드를 분산 인프라로 푸시하는 작업이 포함됩니다.

배포 프로세스 중에 OCI 계층이 생성되어 서비스 레지스트리에 업로드됩니다.

아카마이 함수는 이러한 파일을 전 세계적으로 분산하여 워크로드 기능을 확인하고 내부 상태 점검을 수행하여 애플리케이션이 전 세계에서 사용할 준비가 되었는지 확인합니다.

모든 지역에서 HTTP 200 상태가 반환되면 서버에 대한 일반 하위 도메인이 자동으로 생성되어 MCP 서버가 공용 인터넷에서 액세스할 수 있게 되며, 아카마이의 Property Manager를 사용하여 인프라를 추가로 보호하여 특정 보안 요구 사항을 적용할 수 있습니다.

개발자는 TypeScript, Python 또는 Rust 템플릿을 활용하여 도구, 프롬프트 또는 리소스를 생성할 수 있으며, 시스템은 아카마이의 엣지 네트워크를 통해 요청 라우팅을 원활하게 관리합니다.

에이전트는 동전 던지기 및 주사위 굴리기와 같은 특정 도구와 동작을 안내하는 정의된 지침으로 구성됩니다.

런타임은 'stalling monkey'라고 하는 최적화된 10MB JavaScript 엔진을 로드하여 실행 중에 높은 성능과 응답성을 보장합니다.

WebAssembly(Wasm) 애플리케이션을 컴파일하는 프로세스에는 인터프리터 및 사용자 코드 로드 후 전역 범위를 평가하는 작업이 포함됩니다.

그런 다음 메모리 스냅샷이 WebAssembly에 저장되어 모든 종속성을 미리 로드하므로, 사용자 코드와 함께 10MB JavaScript 런타임을 제공해야 하는 단점에도 불구하고 Wasm 애플리케이션은 콜드 스타트 및 런타임 중에 네이티브 JavaScript 앱보다 빠릅니다.

테스트 요청의 네트워크 헤더는 산타클라라를 진입점으로, LAX를 서비스 지역으로 나타내어 아카마이 네트워크의 분산된 특성에 대한 통찰력을 제공합니다.

'X-envoy-upstream-service-time' 헤더는 전체 비즈니스 로직 실행 및 대규모 언어 모델(LLM) 추론을 포함하는 총 왕복 시간을 확인하며, LLM을 통한 간단한 작업의 일반적인 왕복 시간은 약 820~866밀리초입니다.

Thorsten Hans는 비즈니스 라인 애플리케이션, 관리 제어 평면(MCP) 서버 또는 AI 에이전트를 포함한 다양한 사용 사례에서 Spin 애플리케이션의 개발자 워크플로우가 Rust, TypeScript, Python 및 Go와 같은 언어를 지원하며 일관되게 유지된다고 강조했습니다.

개발자는 Spin CLI를 사용하여 로컬에서 애플리케이션을 테스트하고 간단한 'spin deploy' 명령으로 배포할 수 있으며, Wasm 호환 런타임 간의 이식성과 최소한의 인프라 관리로 인한 운영 오버헤드 감소의 이점을 누릴 수 있습니다.