AI 에이전트, 코드 가속화 및 디버깅 부담 가중

Cloud Code, Codeium, Cursor와 같은 도구는 개발 단계에 소요되는 시간을 획기적으로 단축하여 다양한 기술 배경을 가진 개인도 프로덕션에 코드를 더 빠르게 기여할 수 있도록 합니다.

코딩 속도가 빨라졌음에도 불구하고 기업들은 복잡한 문제 해결에 소요되는 시간이 크게 증가했다고 보고합니다. 이 문제는 AI 생성 코드가 생산은 빠르지만, 인간 엔지니어가 가진 깊은 이해와 맥락이 부족하여 더 빈번하고 진단하기 어려운 프로덕션 문제가 발생하기 때문입니다.

엔지니어링 팀은 온콜 로테이션으로 매주 7시간 이상을 잃고 있으며, 이는 연간 4,000억 달러의 부담을 초래하고 있으며, 임원의 40%는 이를 심각한 장애물로 꼽습니다. Traversal의 Eric Schwartz에 따르면, 임원의 40%는 이를 엔지니어링 팀의 주요 과제로 인정하고 있습니다.

이러한 만연한 문제로 인해 엔지니어들은 디버깅의 복잡성 때문에 온콜 로테이션 동안 매주 평균 7시간 이상을 잃습니다. 이러한 상당한 시간 손실은 생산성에 영향을 미칠 뿐만 아니라 운영 비용 증가 및 엔지니어링 직원의 잠재적인 번아웃에 기여합니다.

Datadog, Elastic, Splunk와 같은 현재의 옵저버빌리티 도구는 시스템 장애를 식별하고 상호 연관된 문제를 지적하는 데는 탁월하지만, 근본적인 원인을 설명하는 데는 지속적으로 미흡합니다. 이러한 도구는 뭔가 고장 났음을 나타내는 대시보드와 경고를 제공하지만, 문제가 발생한 원인을 정확히 찾아내는 인과 관계 분석을 제공하지 않습니다.

Traversal은 근본 원인 분석은 단순히 옵저버빌리티 문제가 아니라 본질적으로 인과 관계 문제라고 주장합니다. Google의 SRE 핸드북과 Anthropic의 보고서는 이러한 견해를 지지하며, 심지어 고급 대규모 언어 모델(LLM)도 프로덕션 환경에서 복잡한 기술 사고의 근본 원인을 파악하는 데 어려움을 겪는다고 지적합니다.

대규모 분산 시스템 디버깅은 단일 서비스 장애가 그 원인을 찾기 위해 수십 개의 서비스와 페타바이트 규모의 데이터를 추적해야 할 수 있다는 점에서 독특한 과제를 제시합니다. 현대 엔터프라이즈 환경에서 어떤 단일 엔지니어도 전체 기술 스택에 대한 완전한 '부족 지식'을 소유하고 있지 않아 포괄적인 이해가 어렵습니다.

복잡한 프로덕션 문제는 종종 수십 명의 엔지니어가 협력하는 '비상 회의'로 확대되며, 각 엔지니어는 필요한 맥락의 일부만을 기여합니다. 이러한 정보의 분열은 전체 그림을 종합하고 사고의 진정한 원인을 신속하게 식별하는 것을 매우 어렵게 만듭니다.

예를 들어, 결제 API의 장애는 API 자체 때문이 아닐 수 있으며, 멀리 떨어진 상호 연결된 서비스에 영향을 미치는 만료된 TLS 인증서와 같은 미세한 문제로 인해 트리거될 수 있습니다. 이러한 상호 의존성은 직접적인 인과 관계를 모호하게 하고 해결 시간을 지연시킵니다.

Traversal은 근본 원인을 식별하고 사람의 개입 없이 수정 사항을 배포함으로써 자율적인 사고 해결을 위한 폐쇄 루프 프레임워크를 향해 나아갑니다. 이 시스템은 프로덕션에서 발생하는 사고 및 경고를 자동으로 감지하도록 설계되었습니다.

핵심 기능은 시스템이 문제의 근본 원인을 식별하고, 적절한 수정 사항을 배포한 다음, 문제가 해결되었는지 확인하는 모든 과정을 사람의 개입 없이 수행하는 것입니다. 궁극적인 목표는 엔지니어링 팀의 중단을 최소화하여 엔지니어링 팀이 사고 해결에 끊임없이 끌려다니지 않고 개발에 집중할 수 있도록 하는 것입니다.

수동 디버깅은 기본선 역할을 하며, 계층 구조는 규칙 기반 에이전트를 거쳐 종단 간 진단 및 자동화된 검증으로 정의되는 5단계로 나아갑니다. 현재 대부분의 기업이 운영하는 레벨 0은 수동 디버깅 프로세스를 포함하며, 종종 엔지니어들이 Slack 워룸이나 Zoom 통화에 모여 문제 해결에 몇 시간을 보내는 것이 특징입니다.

레벨 1은 구조화되고 예측 가능한 워크플로우를 위한 규칙 기반 자동화를 도입하여 수동 개입을 줄이기 위한 초기 단계를 제공합니다. 레벨 2와 3은 특정 서비스를 디버깅하기 위해 특별히 설계된 자체 개발 에이전트의 개발을 포함하며, 자동화된 응답의 기반 위에 구축됩니다.

최고 단계인 레벨 4와 레벨 5는 자동화가 전체 환경에 걸쳐 수백 개의 서비스에 걸쳐 있으며, 교차 환경 진단 및 응답을 제공하는 고급 단계를 나타냅니다. '성배'로 여겨지는 레벨 5는 사람의 감독 없이 복잡한 엔터프라이즈 프로덕션 환경에서 진단, 수정 및 해결 검증을 하는 종단 간 기능을 달성합니다.

Traversal은 American Express, Pepsi, Digital Ocean, Capital One을 포함한 엔터프라이즈 고객을 위해 대규모 데이터 부하를 처리하는 데 상당한 규모와 성능을 보여줍니다. 이들의 시스템은 수조 개의 로그와 스팬, 수백억 개의 메트릭과 이벤트를 처리할 수 있습니다.

이 강력한 아키텍처는 Traversal이 이러한 엄청난 데이터 볼륨에서도 심각도 높은 사고의 근본 원인을 식별하는 데 80% 이상의 정확도를 달성할 수 있도록 합니다. 이 기술적 성과는 대규모 조직을 위한 효과적인 자율 주행 생산 기능을 제공하는 핵심 차별화 요소입니다.

AI는 프로덕션 환경에서 SRE(Site Reliability Engineering) 팀을 위한 다양한 응용 프로그램을 제공합니다. 주요 사용 사례에는 온콜 팀이 수천 개의 경고를 분류하고 우선순위를 지정하여 경고 피로를 크게 줄이는 데 도움이 되는 경고 인텔리전스가 포함됩니다.

또 다른 중요한 응용 프로그램은 사고 근본 원인 분석으로, AI는 몇 분 안에 사고의 특정 원인을 정확히 찾아낼 수 있으며, 그렇지 않으면 몇 시간이 걸리고 수많은 엔지니어가 참여해야 하는 작업입니다. AI는 또한 자동화된 완화 및 수정 배포를 통한 자가 치유와 엔지니어가 특정 데이터를 위해 프로덕션 환경과 직접 채팅할 수 있도록 하는 프로덕션 지원을 가능하게 합니다. 또한, 사전 프로덕션에서 AI는 배포 전에 시스템 신뢰성을 분석하여 코드 복원력을 향상시킬 수 있습니다.

이전에 공급망 물류에서는 매주 수천 건의 경고가 발생했으며, Traversal이 더 나은 신호 필터링을 가능하게 하기 전에는 개별 엔지니어들이 최대 700개의 알림 백로그를 관리해야 했습니다. 이러한 압도적인 양은 개별 엔지니어들이 언제든지 최대 700개의 경고 백로그를 가지게 했습니다.

이러한 높은 수준의 노이즈는 심각한 상태를 야기하여 엔지니어들이 중요한 문제를 식별하기 어렵게 만들고 잠재적인 번아웃을 초래했습니다. Traversal은 PepsiCo 팀이 과도한 노이즈에서 필수 신호를 효과적으로 파싱하여 홍수 속에서 중요한 경고를 놓치지 않도록 돕기 위해 배포되었습니다.

이 시스템은 또한 전체 경고 노이즈를 줄일 수 있는 기회를 사전에 제안하며, 여기에는 코드의 기본 경고 규칙 업데이트 또는 중요하지 않은 경고 해제가 포함됩니다.

또한 AI는 기술 부채를 나타내는 경고에 대해 자동으로 티켓을 생성하여 장기적인 문제를 해결하는 프로세스를 간소화할 수 있습니다. 이 구현은 PepsiCo의 불필요한 경고 노이즈를 크게 줄여 팀이 양에 압도되지 않고 실행 가능한 통찰력에 집중할 수 있도록 했습니다.

아메리칸 익스프레스는 이전에 20~50명의 엔지니어가 5~10개 팀에 걸쳐 프로덕션 사고를 해결하는 데 상당한 인적 자본을 필요로 했습니다. 이러한 사고의 해결 시간은 역사적으로 1시간에서 며칠까지 다양하여 상당한 운영 부담을 주었습니다.

Traversal을 사용하면 사고 대응이 이제 상당히 자동화되고 가속화됩니다. 사고가 선언되는 즉시 Traversal이 파견되어 관련 Slack 채널에 3분 이내에 상세한 근본 원인 분석을 직접 게시하여 대규모 엔지니어링 팀에 연락할 필요를 없애줍니다.

이러한 자동화는 특히 비근무 시간 동안 불필요한 중단을 방지하여 엔지니어들이 수면 일정을 유지할 수 있도록 합니다. 빠르고 상세한 분석은 더 빠른 완화 및 해결을 가능하게 하여 아메리칸 익스프레스의 사고 관리 프로세스를 근본적으로 변화시킵니다.

AI SRE 솔루션을 평가할 때, 그 효과성을 보장하기 위해 몇 가지 중요한 질문에 답변해야 합니다. 첫째, AI는 모든 프로덕션 데이터에 대한 완전하고 무제한적인 접근 권한을 가져야 합니다. 이해의 공백은 상세한 근본 원인 분석 능력을 심각하게 저해할 것입니다.

둘째, 시스템은 막대한 인프라 비용 없이 페타바이트 규모의 로그를 효율적으로 검색해야 하며, 포괄적인 데이터 접근과 경제적 타당성 사이의 균형을 맞춰야 합니다. 셋째, AI는 데이터 내의 다양한 엔티티 간의 복잡한 관계를 정확하게 매핑해야 하며, 이는 복잡한 인과 관계 체인을 식별하는 데 중요합니다.

넷째, 효과적인 AI SRE 솔루션은 자율적으로 개선되어 마크다운 파일의 수동 유지 관리 또는 지식 베이스를 업데이트하기 위한 지속적인 사람의 개입 필요성을 최소화해야 합니다. 마지막으로, AI는 도전적인 5분 이내에 여러 서비스 홉에 걸쳐 사소하지 않은 근본 원인을 식별할 수 있어야 하며, 신속한 사고 해결을 보장해야 합니다.

Traversal의 기술 아키텍처는 자율 주행 생산을 달성하기 위한 견고한 기반 위에 구축되었으며, 데이터 수집 및 통합이 최하위 계층을 형성합니다. 핵심적으로 시스템은 중간 계층에 '생산 세계 모델'을 활용하여 통합된 모든 데이터 포인트 간의 관계를 식별하고 표현함으로써 의미를 파악합니다.

이 모델은 '인과 검색 엔진'으로 보완되어 AI 에이전트가 매핑된 데이터를 탐색하고 심층적인 인과 관계 분석을 수행하는 메커니즘을 제공합니다. 이 아키텍처의 궁극적인 목표는 Fortune 500대 기업이 사고 해결에서 5단계 자율성에 도달하여 포괄적이고 자동화된 시스템 관리를 보장하는 것입니다.