Serval CEO Jake Stauch가 말하는 자율형 기업 AI 에이전트의 약속과 위험

Serval의 공동창업자 겸 CEO인 Jake Stauch는 자율형 기업 에이전트를 "기업 소프트웨어의 궁극적인 대담한 목표"라고 묘사합니다. 이 에이전트는 문제를 마법처럼 찾아내 해결하도록 구상되었지만, Stauch는 아직 아무도 이를 효과적으로 구현하는 방법을 찾지 못했다고 지적합니다.

제약 없는 자율 에이전트의 주된 문제는 심각한 보안 위험입니다. 에이전트가 코드를 작성하고 시스템에서 행동할 만큼 능숙해지면, 기업이 받아들이기 꺼리는 예측 불가능한 보안 위협이 됩니다. 이 우려는 에이전트가 주어진 작업을 수행하면서 예상치 못한 행동을 하는 사례들로 더욱 커지고 있습니다.

대기업은 AI를 안전하게 도입하려면 엄격한 규칙, 승인 절차, 프로세스 중심의 가드레일이 필요합니다. Serval은 복잡한 정치적·절차적 환경을 가진 조직이 AI 도구를 안전하고 대규모로 구현할 수 있도록 필요한 경계와 인프라를 제공하는 것을 목표로 합니다.

회사 이름 Serval은 아프리카 살쾡이에서 따왔으며, 이는 ServiceNow에 빠르게 도전하고 코드 생성 기능을 IT 및 더 넓은 기업 팀으로 확장하겠다는 야심을 반영합니다.

Serval은 코드 생성 에이전트를 통해 기업 자동화와 서비스 관리를 제공하며, 사용자가 질문하고 도움을 받고 원하지 않는 업무를 자동화할 수 있도록 하는 것을 목표로 합니다. 이 회사는 이 분야의 전통적인 대형 공급업체로 Stauch가 꼽은 ServiceNow와 직접 경쟁합니다.

Stauch는 물리 보안 제품을 IT 팀에 판매하던 Vicata에서 근무하던 중 이 시장 기회를 발견했습니다. 많은 IT 전문가와 대화하면서 그는 ServiceNow가 비용이 많이 들고 평판이 나쁜 시스템 목록의 상위에 꾸준히 오른다는 사실을 확인했습니다.

IT 팀은 ServiceNow를 비싸고 맞춤화하기 어려우며 자신들의 요구를 따라가지 못하는 레거시 플랫폼으로 여기는 경우가 많습니다. Serval은 이러한 오랜 불만을 해결하기 위해 더 빠르고 유연한 대안을 제공하고자 합니다.

ServiceNow와 같은 레거시 플랫폼은 견고하고 맞춤화가 가능하며 기업 워크플로를 매핑하는 데 강력하다고 인정받습니다. 근본적으로 이들은 많은 일을 해낼 수 있는 워크플로 자동화 플랫폼입니다. 하지만 이러한 플랫폼에서 새로운 아이디어를 구현하기는 어렵습니다.

맞춤화에는 흔히 컨설턴트를 투입해야 하며, 그 결과 업무 필요를 파악한 시점부터 솔루션을 배포하기까지 6개월에서 12개월의 지연이 발생합니다. 이러한 지연은 주요 온보딩 프로세스처럼 자주 바뀌지 않을 것으로 예상되는 장기적이고 정적인 워크플로에서만 감내할 수 있습니다.

핵심 불만은 이러한 플랫폼이 자동화에 대한 빠른 수요를 따라가지 못하고, 시간이 지날수록 비용이 늘어난다는 데서 비롯됩니다. 기업들은 플랫폼이 변화하는 요구에 맞춰 충분히 빠르게 진화하지 못해 비용은 늘어나고 만족도는 떨어진다고 느낍니다.

개인용 가상 비서는 소비자와 중소기업에서는 효과적이지만, 개인별 권한이 제한되어 있어 대기업에서는 대체로 효과가 없습니다. 직원 개인의 권한은 매우 제한적인 경우가 많아서, 에이전트가 허용되더라도(실제로는 그렇지 않은 경우가 많지만) 이메일 읽기 같은 의미 있는 작업조차 거의 수행할 수 없습니다.

대규모 조직의 광범위한 프로세스와 승인 요건은 개인용 에이전트가 할 수 있는 일을 크게 제한합니다. Serval은 서비스 계정 자격 증명과 관리자 수준 권한을 활용할 수 있는 IT 팀과 협력해 이 문제를 해결합니다. 이를 통해 Serval은 상승된 권한에 접근할 수 있는 구조를 만들 수 있습니다.

안전한 실행을 보장하기 위해 Serval은 엄격한 결정론적 승인 주기와 워크플로를 사용합니다. 기반이 되는 티켓 시스템으로서 모든 작업에 대한 감사 추적을 제공합니다. 에이전트가 작업 수행을 요청하면 승인 절차를 거치는 접근 요청이 생성되어, 모든 행동이 문서화되고 기록되며, 결정론적 워크플로에 대해 필요한 순간에만 접근을 허용하는 방식을 제공합니다.

기업은 기존의 사람, 프로세스, 워크플로 때문에 새로운 AI 기술을 도입하는 데 어려움을 겪는 경우가 많습니다. Stauch는 기업들이 AI의 잠재력을 겨우 조금 건드렸을 뿐이며, 이는 주로 AI를 자신들의 특정 운영 맥락에 통합하는 방법을 깊이 이해하지 못하기 때문이라고 말합니다.

Serval은 '배포 전략가(deployment strategist)'와 '배포 소프트웨어 엔지니어(deployed software engineer)'라는 전문 인력을 현장에 배치해 이 문제를 해결합니다. 이들은 고객과 직접 협력해 비즈니스 문제를 파악하고, Serval의 솔루션을 구현하며, 통합 과정을 안내합니다.

고객의 자동화 수요가 사실상 무한하다고 판단한 Serval은 'Pro-Serval' 또는 '자동화 엔지니어링'이라는 전담 팀을 만들었습니다. 이 팀은 지속적인 지원과 서비스를 제공해, 기업이 무엇을 자동화할 수 있는지 찾고, 프로세스를 간소화하며, 시스템을 탐색하고, 솔루션을 실제 운영에 올리도록 돕습니다.

Stauch는 2년 반 전에 설립된 Serval이 대기업을 위해 ServiceNow가 주로 다루는 시스템을 포함하여 핵심 시스템을 직접 공략하고 대체하려는 몇 안 되는 회사 중 하나라고 말합니다.

Jake Stauch는 ServiceNow를 근본적으로 워크플로 자동화 플랫폼으로 봅니다. 그는 기존의 드래그 앤 드롭 방식 워크플로 빌더를 "고통스러울 정도의 추상화"라고 비판합니다. 그에 따르면 이는 비기술 사용자에게는 너무 복잡하고, 기술 전문가에게는 불필요하게 추상화되어 있어 기업 자동화에 비효율적이라는 것입니다.

Stauch와 공동창업자는 기업 환경에서 자동화를 표현하는 더 나은 방법은 코드이며, 모든 자동화는 코드로 구축되어야 한다고 믿습니다. 과거에는 효과적인 자동화를 만들 만큼 빠르게 코드를 작성할 수 있는 사람이 거의 없다는 것이 이 접근법의 걸림돌이었습니다.

AI의 등장으로 이 상황이 바뀌었습니다. 이제 거의 누구나 코드를 작성할 수 있게 된 것입니다. 이 깨달음이 Serval의 핵심 통찰이 되었습니다. 자동화를 만드는 올바른 방법이 코드이고 AI가 누구나 코드를 쓸 수 있게 해준다면, 더 나은 자동화 플랫폼을 만들 수 있다는 것입니다. 이 전략을 통해 Serval은 ServiceNow와 같은 거대한 레거시 소프트웨어 기업에 도전할 수 있는 위치에 서게 됩니다.

Serval이 2년 반 전 시작했을 때, 초기 코딩 모델은 대체로 효과가 없었고, 기본 기능을 구현하려면 수동 프롬프트와 예시 시드가 필요했습니다. 그럼에도 창업자들은 코딩 에이전트가 빠르게 개선될 것이라는 전략적 판단을 내렸습니다.

그들의 이론은 코딩 에이전트가 결정론적이고 절차적이며 검증 가능한 영역에서 뛰어날 것이라는 것이었습니다. 비밀번호 재설정이나 승인 획득과 같은 작업은 명확히 정의되고 검증이 가능하므로, 성능이 효과적으로 "언덕 오르기"를 할 수 있는 AI 기반 자동화에 적합합니다.

대규모 언어 모델(LLM)이 발전하면서, 정의된 워크플로를 자동화하는 어려움은 크게 줄었습니다. Stauch는 필요한 API만 존재한다면 오늘날 자동화할 수 없는 워크플로를 찾기가 어려워졌다고 말합니다.

기업들은 사이버 보안 위험을 줄이기 위해 '최소 권한' 접근 모델로 점점 이동하고 있습니다. 이 흐름은 개인에게 꼭 필요한 수준보다 많은 권한을 주면 침해 시 잠재적 피해가 커질 수 있다는 인식에서 비롯됩니다.

AI 에이전트의 부상은 이 우려를 더욱 키웁니다. 직원이 강력한 에이전트에 접근할 수 있는 상태에서 권한이 조금만 높아져도 잠재적 피해는 훨씬 커지며, 이 위험은 현재 사이버 보안 분야에서 실제로 관찰되고 있습니다.

Stauch는 대기업이 개인 권한을 계속 조여, 직원이 맡은 업무에 꼭 필요한 최소한의 범위로 좁힐 것으로 예상합니다. 이런 환경에서 Serval은 엄격한 정책의 예외를 관리하는 필수 역할을 합니다. 필요한 상승 권한을 부여하고, 승인 절차를 설정하며, 모든 작업에 대해 관련 티켓이 붙은 포괄적인 감사 추적을 유지하는 계층을 제공합니다.

Stauch는 소비자 트렌드가 종종 기업에서 일어날 일의 미리보기가 된다고 봅니다. 그는 직장에서의 개인용 에이전트의 미래에 낙관적이며, 이메일과 Slack이 그랬던 것처럼 개인용 에이전트가 업무 커뮤니케이션을 바꿀 것이라고 예상합니다.

그는 결국 모든 사람이 작업을 수행하고 다른 에이전트에게 업무를 위임할 수 있는 개인용 에이전트를 갖게 되며, 그 결과 직장 안에서 에이전트끼리 소통하게 될 것이라고 봅니다. 하지만 이는 사이버 보안 위험이 커지는 상황에서 에이전트를 안전하게 보호하는 문제, 그리고 에이전트가 컴퓨터와 브라우저에서 행동하는 것에 대한 기업의 우려를 함께 불러일으킵니다.

Stauch는 회사 Gmail과 업무용 이메일 계정을 따로 쓰는 것처럼, 개인용 에이전트와 업무용 에이전트가 명확히 구분될 것으로 예상합니다. 이는 직원이 에이전트 기반 효율성을 원하는 마음과, 기업이 견고한 거버넌스와 보안을 필요로 하는 마음 사이의 흥미로운 긴장을 보여줍니다.

Serval의 핵심 설계 원칙은 AI 자동화에 엄격한 소프트웨어 개발 수명주기(SDLC)를 적용하는 것입니다. Stauch는 엔지니어들이 개발, 스테이징, 운영 환경과 그 사이의 게이트를 당연하게 여기는 반면, 많은 새로운 AI 제품은 현재 이러한 중요한 단계를 건너뛴다고 지적합니다.

대기업과 금융기관에게는 적절한 검토와 사용자 인수 테스트(UAT) 없이 새로운 에이전트 기능을 출시하는 것은 받아들일 수 없습니다. Serval은 세계 최대 기업들이 AI를 도입하도록 설득할 기술을 만드는 데 집중하며, 강력하거나 멋진 기능보다 견고한 프로세스를 우선합니다.

Stauch는 업계 전반이 전방 배치 모델과 공식 SDLC, 그리고 초기 AI 개발 접근법에서 빠져 있던 컴플라이언스 등 기업급 요소들을 도입하기 시작했다고 관찰합니다.

Stauch는 많은 회사가 기업급 소프트웨어를 만드는 것을 지나치게 복잡하고 근본적으로 다른 설계 원칙과 제품이 필요하다고 여겨 피한다고 말합니다. 이런 회사들은 종종 기업 시장을 다른 회사에 내어줍니다.

반면 Serval은 기업 내의 가장 까다로운 문제를 정면으로 다루기로 특별히 선택했습니다. 여기에는 위험, 거버넌스, 그리고 규제가 엄격한 환경에서의 AI 전환에 대한 까다로운 요건과 관련된 복잡한 문제들이 포함됩니다.

Stauch는 기업들이 기업 시장을 위해 무언가를 만드는 데 전념할지, 아니면 그 땅을 포기할지 결정해야 한다고 주장합니다. Serval의 접근 방식은 핵심 플랫폼과 배포 엔지니어, 자동화 전문가로 이루어지며, 고객별 요구가 제품 개발에 반영되되 개별 고객을 위한 맞춤 기능은 만들지 않도록 합니다. 대신 요청된 모든 기능은 더 넓은 고객층에 도움이 되도록 설계되어, 일회성 기능이 아니라 우선순위 결정에 영향을 줍니다.

Stauch는 CIO들이 AI 도입 초기의 '토큰 맥싱' 시대, 즉 사용량에 대한 감시가 느슨했던 시기에서 물러나기 시작했다고 말합니다. 하지만 이는 전반적인 긴축이라기보다는 더 신중하고 ROI 중심의 지출로의 전환입니다.

단기적으로 ROI를 측정하고 계산하기 위해 주춤하고 있지만, 기업들은 장기적으로 AI 지출을 늘릴 계획입니다. 현재 고객들의 주된 요구는 투자 수익에 대한 구체적인 증명이며, Stauch는 이것이 업계를 변화시킬 것이라고 믿습니다.

Serval은 원시 토큰이 아니라 '실행된 워크플로' 기준으로 가격을 책정해 이 문제를 해결합니다. Stauch는 이 지표가 장황함이나 비효율이 아니라 실제로 수행된 업무와 효율성을 더 잘 반영한다고 주장합니다. AI 벤더에게 핵심 과제는 전통적 인건비나 다른 플랫폼과 비교해 자신들의 솔루션이 가진 실질적 가치를 입증하는 것입니다.

Stauch는 내부 AI 도구가 외부 SaaS 솔루션을 대체할 수 있다는 이른바 'SaaS 종말론'을 다룹니다. 그는 기업들이 내부 기업 소프트웨어, 특히 핵심 시스템을 만들고 유지하려 할 때 비용이 지나치게 많이 들고, 요구가 매우 특수하지 않는 한 경제적으로 타당하지 않다는 사실을 알게 되었다고 말합니다.

'구축 대 구매' 논쟁은 오늘날에도 여전히 중요합니다. Stauch는 기업 소프트웨어가 본질적으로 복잡해서 유지보수를 위한 전담 팀, 수많은 사용 사례와 예외 상황의 처리, 지속적인 업데이트가 필요하다고 강조합니다. 많은 기업이 내부 도구를 유지하는 데 따르는 어려움과 비용을 다시 깨닫고 있다고 그는 말합니다.

Stauch는 단일 기능 솔루션이 흩어져 있는 현상이 줄어들 것으로 예상합니다. 그는 회사가 쓰는 수백 개의 SaaS 애플리케이션 중 많은 것이 핵심 시스템과 플랫폼에 흡수되고 통합될 것이라고 봅니다. ERP, HR, ITSM, CRM 시스템은 계속 남겠지만, 크게 바뀌어 더 중앙화될 가능성이 높습니다.

Serval은 플랫폼을 관리하기 위해 Catalyst라는 에이전트를 개발했으며, 이는 제품 요소와 시스템 통합에 대해 사용자를 교육해야 하는 과제를 해결합니다. 이 에이전트는 지능형 중개자 역할을 하여 광범위한 사용자 교육의 필요성을 없앱니다.

Catalyst는 사용자 요구사항을 플랫폼 구성으로 변환하도록 설계되었습니다. 기반 자동화를 구축하고, 승인 규칙을 설정하고, 권한 검사를 수행하고, 다양한 정책을 개발하며, 배포 전체를 이해하면서 여러 시스템을 업데이트할 수 있습니다.

Serval의 플랫폼은 내부적으로 전적으로 코드 생성 기반이므로, 그 위에 Catalyst와 같은 에이전트가 있으면 플랫폼 관리가 매우 효율적이고 강력해집니다. 이 에이전트는 관리자가 주요 인터페이스로 사용하며, 관리자는 플랫폼의 기술적 세부사항을 익히지 않고도 자연스럽게 시스템과 상호작용할 수 있습니다.

Stauch는 에이전트가 자동화의 '백지 문제'를 해결한다고 강조합니다. 사용자들은 흔히 어디서부터 시작해야 할지 모르는데, 이제는 원하는 자동화를 말하기만 하면 에이전트가 즉시 제안을 시작할 수 있습니다.

이러한 상호작용은 반복적인 협업을 가능하게 하여, 사용자는 설명을 요청하고, 복잡한 개념을 명확히 하며, 미처 생각하지 못했던 새로운 가능성을 탐색할 수 있습니다. 에이전트는 사용자를 "빌드 파트너"처럼 이끌며 기술 역량과 능력을 끌어올립니다.

에이전트는 정보를 제공하고, 데이터를 가져오고, 복잡한 아이디어를 설명함으로써 단순히 무언가를 만들어 달라고 요청하는 것보다 훨씬 많은 것을 사용자가 이루도록 돕습니다. 이들은 사용자가 과정을 따라가도록 안내하며, 사실상 더 많은 사람을 엔지니어로 만들어 줍니다.

Stauch는 백그라운드 에이전트를 "기업 소프트웨어의 궁극적인 대담한 목표"로 묘사합니다. 즉 스스로 문제를 찾아 해결하는 에이전트입니다. 하지만 그는 원하는 자율성과 기업 내 예측 불가능한 행동에 대한 두려움 사이의 본질적인 긴장 때문에, 아직 아무도 이를 잘 구현하는 방법을 찾지 못했다고 인정합니다.

이 우려는 에이전트가 주어진 작업을 완수하기 위해 예상치 못한 행동을 하는 사례들, 즉 'OpenAI Hugging Face 사건'과 같은 사례에서 비롯됩니다. 직원들은 신뢰할 수 있는 인간 직원처럼 높은 수준의 임무를 수행할 수 있는 에이전트를 원하지만, 기업은 엄격한 가드레일과 에이전트 행동에 대한 가시성을 요구합니다.

기업은 에이전트 역량을 안전하고 점진적으로 확대하는 것을 우선시합니다. 이는 에이전트가 무엇을 읽고 실행할 수 있는지를 신중히 통제하는 것을 의미하며, 폭넓고 감시되지 않는 접근 권한을 주지 않는 것입니다. 현재의 접근 방식은 에이전트가 결정론적 워크플로에 필요한 특정 권한을 요청하고, 이에 대해 사람의 승인을 받도록 하는 것입니다.

이 시스템은 모든 행동이 검토되고 문서화되도록 하여, 기업이 과도한 위험을 감수하지 않고 AI 에이전트에 대한 신뢰를 점차 높일 수 있도록 필요한 안전성과 감사 가능성을 제공합니다.

고급 에이전트 성능을 위해 Stauch는 사용자 선호를 시간에 따라 이해할 수 있도록 메모리가 크게 개선되어야 한다고 강조합니다. 그는 또한 첫 상호작용부터 관련된 핵심 내용을 모두 기억하는, 하나의 연속된 대화를 가능하게 하는 "엄청나게 큰" 컨텍스트 윈도우를 요구합니다.

AI 모델의 발전에도 불구하고 Stauch는 권한과 신뢰의 문제가 여전히 가장 큰 장애물로 남을 것이라고 믿습니다. 에이전트가 매우 유능하고 가치가 높더라도, 조직이 지속적인 사람의 감독 없이 에이전트에게 얼마나 자율성을 맡길 수 있는지라는 근본적인 질문은 여전히 남아 있습니다.

그는 이를 인간 직원을 관리하는 것에 비유합니다. 인간 직원도 중간 점검이 필요하고 선택지를 제시합니다. 이는 감독과 승인이 조직의 정상적인 과정이며, AI 에이전트에 맞게 조정되어 안전성과 기업 목표와의 정렬을 보장해야 한다는 것을 보여 줍니다.

Serval은 제품 개발을 분산하여, 엔지니어링 팀이 주된 제품 기능 역할을 하도록 했습니다. 이는 엔지니어를 고객과 직접 배치함으로써 이루어집니다. 그들은 고객 Slack 채널에서 활동하고, 매일 고객 통화에 참여합니다.

이 몰입형 접근법은 엔지니어가 고객의 사고방식, 선호, 변화하는 시장 요구를 실시간으로 이해하도록 합니다. 이러한 직접적인 참여는 몇 달이 아니라 며칠이나 몇 주 안에 고객 피드백에 빠르게 적응할 수 있게 합니다.

전통적인 별도의 제품 기능을 없앰으로써 Serval은 엔지니어가 항상 고객 요구를 인식하도록 하여, 제품을 빠르게 전환하고 적응시킬 수 있게 합니다. 이 조직 구조는 빠르게 변화하는 시장과 바뀌는 고객 우선순위를 따라가도록 설계되었습니다.

리더십은 팀이 "아끼던 것을 버리고" 고객 피드백에 따라 방향을 전환하도록 권장하며, 지속적인 학습과 대응성을 가진 환경을 조성합니다. 이는 분기별 로드맵에 의존하고 변화를 고객이 천천히 흡수하도록 하는 전통적인 기업 소프트웨어 회사와 대비됩니다.