Ramp, AI 에이전트로 엔지니어링 전 과정 자동화…CI 시간 1/3로 단축

Ramp는 Claude의 Fable 모델을 활용하여 코드 검증 및 최적화에 성공적인 경험을 공유했습니다. 특히 제품과 직접 관련 없는 CI(지속적 통합) 부분의 대규모 코드베이스에 Fable을 적용하여 그 효과를 입증했습니다. 초기 도입 시에는 Fable이 작성한 코드의 유효성을 검증하기 위해 많은 데이터를 생성하고 코드가 제대로 작동하는지 확인하는 과정을 거쳤습니다. Fable은 몇 주 동안 섀도우 모드로 실행된 결과, 기존 구현 방식보다 지속적으로 빠른 성능을 보여주며 그 잠재력을 확인했습니다.

Fable은 Ramp의 거대한 모놀리식 파이썬 코드베이스에 존재하는 주요 문제들을 해결하는 데 기여했습니다. Ramp는 Fable에 모든 import cycle을 고쳐달라고 요청했으며, 앱의 lazy 로딩 기능을 구현하여 부팅 시 로드되는 파이썬 모듈의 양을 줄여달라고 했습니다. Fable은 이 두 가지 어려운 작업에서 상당한 진전을 보였고, 그 결과 생성된 코드 중 상당 부분이 실제 시스템에 병합되었습니다.

Fable은 Ramp의 테스트 환경에서 이전 어떤 모델도 해내지 못했던 모든 테스트를 통과한 첫 번째 모델로 기록되었습니다. Ramp는 Fable이 특정 문제에 직면했을 때, Claude가 여러 서브 에이전트를 조율하는 방식인 동적 워크플로우를 활용하여 해결했습니다. 이 동적 워크플로우의 도입으로 CI 시간이 크게 단축되는 성과를 거두었습니다. 실제로 어제 Fable은 CI 시간을 기존의 P50 기준 18분에서 P50 기준 6분으로 단축시키는 놀라운 최적화 능력을 보여줬습니다. Fable은 최적화 후 또 다른 최적화를 반복하며 이러한 성과를 달성한 뒤, 그 결과를 차트로 보고했습니다.

Ramp는 동적 워크플로우 사용 시 Fable에 대한 충분한 이해가 선행되어야 한다고 강조합니다. 이는 Fable이 백그라운드에서 40~100개의 다른 에이전트들이 수행하는 작업으로부터 많은 것을 학습하기 때문입니다. Ramp는 Fable의 동적 워크플로우를 전적으로 신뢰하며, 이를 '테스트 시간 컴퓨팅'이라는 개념으로 설명합니다. 이 개념은 모델이 문제를 해결하기 위해 사용할 수 있는 사고의 양이 '낮음'에서 '최고'까지 올라가는 과정으로 이해될 수 있으며, 모델이 활용할 수 있는 최대 사고량에 해당합니다.

Ramp는 AI 워크플로우를 루프(loop)와 동적 워크플로우로 구분하여 활용하고 있습니다. 루프는 풀 리퀘스트 관리, CI 수정, 자동 리베이스와 같이 반복적이고 미리 단계를 정확히 알 수 있는 작업에 사용됩니다. 반면 동적 워크플로우는 시스템 최적화와 같이 다음 최적화 단계가 무엇일지 미리 알 수 없는 동적인 작업에 적용됩니다. 이러한 역할 분담을 통해 AI의 효율성을 극대화하고 있습니다.

Ramp는 Claude Code의 도입이 소프트웨어 엔지니어링 워크플로우에 대한 사고방식의 완전한 전환을 가져왔다고 설명합니다. 이는 마치 Claude Code를 처음 사용할 때와 같은 경험으로, 많은 소프트웨어 엔지니어링 워크플로우와 명령 실행 등을 AI 에이전트에게 위임해야 한다는 것을 의미합니다. 이러한 변화는 개발 과정의 효율성을 높이는 동시에 개발자들의 역할과 접근 방식에도 새로운 시각을 요구합니다.

Ramp는 AI를 활용하여 코딩의 일상적인 반복 업무뿐만 아니라 수직적인 프로젝트 처리까지 자동화하고 있습니다. 매일 모든 엔지니어가 수행하는 코드 리뷰, 피드백 처리와 같은 작업들이 AI 루틴으로 자동화되어 실행됩니다. 또한 죽은 코드(dead code)를 삭제하는 루틴도 매일 실행되어 코드베이스의 청결을 유지합니다. 다른 예시로는 Claude 태그를 이용해 실험을 진행하고, 풀 리퀘스트(PR)를 올린 후 모니터링하며, 노출을 조절하여 최종 배포하는 전체 과정을 AI가 처리하도록 합니다. 이는 AI가 단순 반복 작업을 넘어 전체 프로젝트 라이프사이클에 깊이 관여함을 보여줍니다.

Ramp는 AI 중심의 작업 흐름이 개발자의 역할을 어떻게 변화시키는지에 대한 구체적인 사례를 제시했습니다. 한 실험 배포 과정에서 Ramp 관계자는 전혀 개입하지 않았으며, 초기 Claude에게 작업을 요청한 후 풀 리퀘스트(PR)만 승인했을 뿐, 나머지 모든 과정은 Claude가 단독으로 처리했습니다. 이는 AI가 코드 작성, 검토, 배포를 포함한 전체 실험 라이프사이클을 자율적으로 수행하며, 개발자는 최종적인 확인 및 승인 역할로 변화하고 있음을 보여줍니다.

Ramp는 AI 에이전트가 정보 수집 및 문제 진단에 효과적으로 활용되고 있다고 밝혔습니다. 관계자의 작업은 점점 더 백그라운드 중심으로 변화하고 있으며, 대부분의 세션은 정보 수집에 할애됩니다. 예를 들어, 서비스 메모리가 급증하는 이유를 파악하거나, 특정 프로젝트를 더 빨리 완료할 수 있는 방법에 대한 질문들을 AI에게 던집니다. 이는 AI가 여러 세션을 통해 방대한 컨텍스트를 수집하고 분석하는 데 매우 유용한 방법으로, 복잡한 문제의 원인을 신속하게 진단하고 해결책을 모색하는 데 기여하고 있습니다.

Ramp는 자사의 사업 거의 모든 부분에, 특히 엔지니어링 라이프사이클 전반에 AI 에이전트를 구현했다고 발표했습니다. 이들은 아이디어 구상부터 시작하여 버그 발견, 시스템 문제 알림, 코드 작성 및 검토, 배포 후 프로덕션 모니터링, 그리고 보안 문제 탐지에 이르기까지 소프트웨어 개발의 전체 스택에 걸쳐 AI 시스템을 구축하는 데 집중했습니다. 이러한 전사적 도입은 AI가 단순히 특정 작업을 자동화하는 것을 넘어, 엔지니어링의 모든 단계를 아우르는 핵심적인 역할을 수행하도록 함으로써 개발 프로세스의 효율성과 안정성을 극대화하는 것을 목표로 합니다.

Ramp는 AI 에이전트를 거의 동료처럼 활용할 수 있도록 모델에 더 많은 도구, 컨텍스트, 그리고 자율성을 부여하는 방향으로 노력하고 있습니다. 이는 모델이나 하네스에 부족한 부분이 있을 때, 이를 보완하여 AI가 능동적으로 문제를 해결하고 상호 작용할 수 있도록 하는 것을 목표로 합니다. 궁극적으로 AI 에이전트가 '이 문제를 해결해 줄 수 있어?', '예외가 발생하는 것 같은데.', '고객이 특정 문제에 불평하는데'와 같은 질문에 직접적으로 대응하고, 올바른 시스템에 접근하며, 적절한 수준의 접근 권한을 가지고, 적절한 양의 코드를 생성할 수 있기를 기대하고 있습니다.

Ramp는 AI 시스템 개발에 있어 단기적인 성과보다는 장기적인 관점의 중요성을 강조합니다. 현재 당장 잘 작동하게 만드는 데만 집중하면 기술 부채가 빠르게 쌓여 결국 개발 속도가 느려질 것이라고 판단했습니다. 대신 미래를 내다보고 AI 시스템을 개발하면 더 적은 리소스를 투입하여 더 멀리 나아갈 수 있다고 믿습니다. 이러한 접근 방식은 지속 가능한 성장을 위한 필수적인 요소로 간주됩니다.

Ramp는 AI 에이전트의 보안을 강화하기 위해 '최소 권한 원칙'을 철저히 적용하고 있습니다. 이는 스택의 모든 부분에서 모델에 필요한 것만 제공하고 그 이상의 권한은 주지 않도록 노력하는 것을 의미합니다. 예를 들어, BigQuery나 DataDog와 같은 중요한 데이터베이스 및 모니터링 시스템에는 AI 에이전트에 읽기 전용 서비스 키만 부여하는 방식으로 접근을 제한합니다. 이러한 정책은 AI 에이전트가 오작동하거나 보안 침해가 발생했을 때 발생할 수 있는 잠재적인 피해를 최소화하는 데 중요한 역할을 합니다.

이는 AI 시스템의 확장성과 안정성을 동시에 확보하기 위한 핵심 전략입니다. 불필요한 접근 권한을 제한함으로써 시스템의 보안 무결성을 유지하고, 데이터 유출이나 시스템 오용과 같은 위험을 사전에 방지합니다. Ramp는 이러한 엄격한 보안 프로토콜을 통해 AI 에이전트의 활용도를 높이면서도 기업의 중요 자산을 보호하고 있습니다.

최소 권한 원칙은 AI 에이전트가 특정 작업을 수행하는 데 필요한 정확한 정보와 기능에만 접근할 수 있도록 보장함으로써, 시스템의 복잡성을 관리하고 신뢰할 수 있는 AI 환경을 구축하는 데 기여합니다.

Ramp는 AI 에이전트 인프라 구축 및 보안 강화 과정에서 보안팀의 중요하고 적극적인 역할을 강조했습니다. 보안팀은 AI 에이전트의 인프라를 구축하고, 네트워크 접근 정책을 설정하며, 중요한 키를 관리하는 데 기여했습니다. 특히 보안팀 역시 AI 에이전트의 정기적인 사용자로서, 시스템의 실제 사용 경험을 바탕으로 개선 사항을 파악하고 보안을 강화하는 데 직접 참여하고 있습니다.

Ramp는 AI 에이전트 활용에 따른 위험 관리에 신중을 기하고 있습니다. 코드가 버그가 있거나 문제가 발생할 때 초래될 수 있는 최악의 상황이 극도로 제한적이라는 것을 확신할 수 있는 경우를 지속적으로 모색하고 있습니다. 이는 AI 에이전트가 자율적으로 실행될 때 발생할 수 있는 잠재적 위험을 최소화하기 위한 선제적인 접근 방식입니다.

또한 Ramp는 모델 역량의 기하급수적인 증가에 맞춰 검증 루프를 준비하고 있습니다. 특히 CI/CD(지속적 통합/지속적 배포)와 관련하여, AI 에이전트가 생성하거나 수정하는 코드의 품질과 안정성을 보장하기 위한 철저한 검증 프로세스를 구축하는 데 집중하고 있습니다. 이 검증 루프는 AI의 발전 속도에 발맞춰 시스템의 안정성을 유지하면서 생산성을 극대화하는 데 필수적인 요소로 작용합니다.

이러한 전략을 통해 Ramp는 AI 에이전트의 잠재력을 최대한 활용하는 동시에, 예상치 못한 오류나 보안 문제로부터 시스템을 보호하며 신뢰할 수 있는 개발 환경을 조성하고 있습니다.

Ramp는 엔지니어들에게 자유로운 실험 문화를 제공하며, 실패를 두려워하지 않고 빠르게 움직이는 것을 장려합니다. 이러한 문화는 AI 도구의 활용 방식에도 반영되어, 모든 엔지니어에게 모든 AI 도구에 대한 무료 액세스를 제공하고 있습니다. 토큰 예산이나 도구 예산에 제한을 두거나 특정 도구 사용을 강요하지 않음으로써, 엔지니어들이 자유롭게 AI를 탐색하고 혁신적인 솔루션을 시도할 수 있도록 지원합니다. 이는 AI 기술의 잠재력을 최대한 끌어내고 새로운 가능성을 발견하는 데 중요한 기반이 됩니다.

Ramp는 'Inspect'라는 디지털 동료 AI를 소개했습니다. Inspect는 기본적으로 제품 엔지니어와 디자이너가 사용하는 모든 도구를 제공받도록 설계되었습니다. 여기에는 GitHub, Linear, Slack, Datadog, Sentry를 비롯한 여러 도구에 대한 접근 권한이 포함됩니다. 현재 Inspect에게는 지원 티켓 해결, GitHub 문제 해결, Sentry 오류 검토, Linear 티켓 또는 Zendesk 티켓 검토 등의 업무를 요청할 수 있습니다.

Inspect는 다양한 플랫폼에서 정보를 수집하고 분석하여 문제 해결을 돕는 역할을 합니다. 예를 들어, 고객 지원 티켓이나 버그 보고서가 접수되면 Inspect가 관련 정보를 자동으로 수집하고 초기 진단에 필요한 데이터를 제공합니다. 이는 엔지니어들이 문제 해결에 필요한 시간을 단축하고, 더욱 복잡하고 전략적인 업무에 집중할 수 있도록 지원합니다.

이러한 통합된 접근 방식은 Inspect가 단순한 자동화 도구를 넘어, 실제 개발 프로세스에 깊이 관여하는 지능형 비서 역할을 수행하게 함으로써, 전반적인 엔지니어링 효율성을 크게 향상시킵니다.

Ramp는 Claude Code 기반의 AI SRE(Site Reliability Engineer)인 'On-Call Assistant'를 소개했습니다. 이 도구는 로컬 환경에서 잘 작동하는 기술과 프롬프트를 활용하여, AI SRE가 인시던트의 근본 원인을 파악하고 이를 수정하기 위한 풀 리퀘스트(PR)를 생성하는 데 필요한 기술을 구축합니다. On-Call Assistant는 안전 장치와 가이드라인이 있는 컨테이너에서 실행되도록 패키징됩니다. On-Call Assistant는 엔지니어에게 할당되는 모든 인시던트에서 실행되며, 여기에는 엔지니어가 필요한 고객 티켓과 시스템 수준의 인시던트가 모두 포함됩니다.

On-Call Assistant는 현재 Ramp의 시스템에서 활발히 작동하며 모든 인시던트에 대한 Slack 채널에서 매우 명확한 근본 원인 분석을 제공합니다. 이 AI 어시스턴트는 인시던트 담당자와 상호 작용하며 문제 해결 과정을 돕습니다. Ramp는 2월 말 또는 3월부터 이 시스템을 운영해 왔으며, 이는 인시던트 관리 및 해결 과정의 효율성을 크게 향상시키는 데 기여하고 있습니다.

Ramp의 Rahul Sengottuvelu는 현재 회사의 시스템에서 인간의 수동적인 개입보다 자동화된 AI 세션에서 발생하는 작업량이 더 많다고 밝혔습니다. 이는 특정 이벤트가 발생할 때마다 AI 에이전트가 자동으로 트리거되거나, 때로는 하루 중 특정 시간에 예약되거나, 다른 외부 시스템으로부터의 입력을 통해 시작되기 때문입니다. 이러한 변화는 Ramp의 엔지니어링 워크플로우에서 AI 자동화가 핵심적인 역할을 담당하고 있음을 명확하게 보여줍니다.