AI 에이전트, 사람처럼 관리해야 한다

김덕중 퍼브 AI연구소장은 1년간 공들여 만든 에이전트도 담당자가 퇴사하자 바로 원상복구되는 데 하루도 걸리지 않았다며, 이는 AI 에이전트의 취약한 지속 가능성을 보여준다고 지적했다. 이러한 현상은 AI 에이전트 도입 시 지속적인 관리와 운영 체계가 부재할 경우 발생할 수 있는 문제점을 시사한다.

AI 에이전트의 실패 사례를 막기 위해 인간 직원과 유사한 라이프 사이클 관리가 필요하다는 주장이 제기됐다. 김덕중 소장은 인간 직원이 채용, 육성, 보상 평가, 퇴직 과정을 거치듯이 AI 에이전트 또한 도입, 육성, 평가, 그리고 퇴출의 전 과정이 필요하다고 강조했다. 특히 성과 없이 리소스(토큰)만 소모하는 에이전트는 과감히 퇴출해야 한다며, 효과적인 AI 운영을 위한 엄격한 기준 마련이 중요하다고 밝혔다.

과거에는 챗GPT나 제미나이와 같은 AI 툴의 사용법을 익히는 데 중점을 두었지만, 최근에는 업무 프로세스에 AI를 직접 탑재하여 스스로 업무를 수행하는 에이전트를 구축하려는 시도가 활발히 이루어지고 있다. 김덕중 소장은 프로세스에 AI를 탑재시키려는 시도가 상당히 많이 이루어지고 있다고 설명하며, AI가 업무의 핵심으로 들어오는 패러다임 변화를 언급했다.

김덕중 소장은 에이전트라는 용어가 기술을 의인화한 첫 사례이며, 말 그대로 대행자 또는 업무를 대신해 주는 사람을 의미한다고 설명했다. 그는 에이전트가 툴을 배워서 사용자가 사용하는 도구가 아니라 사용자를 대신하는 독립적 기술을 의미한다고 강조하며, AI 에이전트의 역할이 점차 고도화되고 있음을 시사했다.

조직 내 AI 에이전트 도입 필요성을 판단할 때 업무의 특성을 고려해야 한다. 김덕중 소장은 조직이 일을 함에 있어서 수작업이 많거나, 중요한 일이지만 한두 달 동안 집중적으로 해야 하는 등 많은 노력이 필요한 부분에 AI 에이전트 도입을 권장했다. 조직의 '페인 포인트(Pain Point)'를 명확히 파악하고, 이에 최적화된 에이전트를 배치함으로써 업무 효율성을 극대화할 수 있다고 설명했다.

AI 에이전트는 조직의 필요성에 따라 크게 4가지 유형으로 분류할 수 있다. 첫째, 챗봇형 에이전트는 인사 규정이나 구매 규정과 같이 사용자의 문의에 응대하는 역할을 수행한다. 둘째, 코파일럿형 에이전트는 문서 작성(도큐멘테이션) 등 생산성 보조 역할을 맡는다. 셋째, 워크플로우 자동화형 에이전트는 지능적인 업무 분류 및 연결(RPA)을 통해 업무 흐름을 자동화한다. 마지막으로 독립적 에이전트형은 특정 조건이 충족될 경우 자율적으로 업무를 실행하는 가장 진화된 형태다.

첫째, 에이전트가 업무 목표와 성공 조건을 명확히 이해해야 한다. 둘째, 다양한 모델 및 추론 방식을 활용할 수 있어야 한다. 이러한 기술적, 운영적 요구 사항을 충족시켜야만 에이전트가 기대하는 성과를 낼 수 있다.

AI 에이전트에게는 기억 능력과 도구 활용 능력이 매우 중요하다. 김덕중 소장은 에이전트가 암기도 잘해야 한다며, 사용자와의 대화 중 개선할 부분을 스스로 학습하여 추후 동일한 오류 없이 아웃풋을 생성해야 한다고 말했다. 이는 지식, 메모리, 컨텍스트 이해를 포함한다. 또한, MCP(Model-Controller-Program) 기술을 통해 외부 시스템과 연동하여 스킬과 툴을 사용하는 능력도 필수적이며, 인사 관리 시스템 연동 사례를 예시로 들었다.

AI 에이전트 운영에는 인간의 통제와 관리 체계가 필수적이다. 김덕중 소장은 다섯 번째 필수 조건으로 실행 권한과 승인 기능의 중요성을 강조했다. '휴먼 인 더 루프(Human-in-the-loop)' 개념을 통해 에이전트가 인간의 승인이 필요한 영역을 스스로 판단하여 작동시키는 것이 가능하며, 이를 통해 결과에 대한 정합성 평가 및 감사 기능을 확보해야 한다. 또한, 운영 책임자를 지정하고 지속적인 개선 주기를 수립하는 것이 중요하다.

AI 에이전트의 성과를 평가하기 위한 4가지 핵심 지표가 제시됐다. 김덕중 소장은 개인 업무 또는 조직 공통 업무에 에이전트를 선정할 때 속도, 규모, 품질, 그리고 학습 가능성이라는 네 가지 요건을 확인해야 한다고 말했다. 속도는 업무 처리 시간 단축을, 규모는 조직 전체 확산성을 의미한다. 품질은 결과의 정합성 및 계획 이행 여부 검증을, 학습 가능성은 에이전트의 지속적인 개선 능력을 나타낸다. 이 지표들을 통해 에이전트의 도입 효과를 객관적으로 측정할 수 있다.

김덕중 소장은 문서를 작성하거나, 요구 사항을 분류하거나, 무언가를 생성하는 등 구체적인 단위 태스크를 실행할 줄 아는 에이전트로 명령해야 비로소 에이전트를 만들 수 있다고 강조했다. 이는 업무를 구체적으로 분할하고 각 태스크에 맞는 에이전트를 개발함으로써 효율성을 높일 수 있음을 의미한다.

AI 에이전트에게 맡길 업무를 명확히 정의하기 위한 7가지 핵심 조건이 제시됐다. 첫째, '시작 조건(Trigger)'은 업무가 언제 시작되는지를 정의하고, '입력 조건'은 업무 수행에 필요한 정보를 명시한다. 둘째, '결정 규칙'은 에이전트의 판단 기준을 설정하고, '툴 사용 능력'은 필요한 도구 연동 여부를 결정한다. 셋째, '출력 결과'는 업무 완료 시 생성되는 산출물을 정의하고, '책임자'는 업무 수행에 대한 최종 책임을 지는 사람을 지정한다. 마지막으로 '예외 조건'은 일반적인 상황을 벗어났을 때 에이전트가 어떻게 대응할지를 명시한다. 이 7가지 조건을 지정할 수 있을 때 비로소 하나의 업무 단위로 보고 AI 에이전트를 적용할 수 있다.

AI 에이전트 구축에는 다양한 유형과 플랫폼 선택지가 존재한다. 김덕중 소장은 클로드 코워크 또는 코덱스와 같은 범용 플랫폼을 직접 사용할 수 있다고 언급했다. 또한, 마이크로소프트가 제시하는 코파일럿 스튜디오와 같이 로우코드 빌드 방식을 활용하거나, 클라우드 플랫폼에서 제공하는 에이전트 플랫폼을 사용하는 것도 가능하다고 설명했다. 마지막으로는 오픈 소스를 활용하여 기업이 자체적으로 구축하는 방법도 있다고 덧붙이며, 각 조직의 상황과 필요에 맞는 선택이 중요하다고 강조했다.

AI 에이전트는 활용 목적에 따라 개인용과 기업용으로 구분하여 운영해야 한다. 클로드나 코파일럿 스튜디오와 같은 범용 에이전트들은 개인 사용 및 공개된 정보 파일 처리에 적합하다. 반면, 조직 내에서 구축하고 레거시 시스템 연동 및 보안 관리가 필요한 경우에는 클라우드 기반 플랫폼이나 자체 구축이 유리하다. 김덕중 소장은 권한 관리, 계정 관리, 승인 관리 등 기업 환경에 특화된 기능의 중요성을 강조하며, 보안이 필수적인 기업용 에이전트 운영의 복잡성을 시사했다.

기업 전사적으로 AI 에이전트를 도입할 경우 체계적인 관리 전략이 필요하다. 전사 직원이 모두 사용하고 고객 서비스에까지 영향을 미치는 에이전트라면 제대로 된 클라우드 플랫폼 또는 자체 개발 플랫폼을 사용해야 한다고 김덕중 소장은 강조했다. 또한, 회사 내 총괄 조직을 통해 에이전트를 개인 레벨, 조직 레벨, 전사 레벨로 명확하게 구분하고 각 레벨의 요건을 정리하는 것이 중요하다고 설명했다. 이는 에이전트 도입의 포트폴리오 관리 차원에서 접근해야 함을 의미한다.

AI 에이전트를 무분별하게 증식시키는 것은 기업의 재무적 부채로 이어질 수 있다. 김덕중 소장은 에이전트가 '돈 먹는 하마'이며, 멀지 않은 미래에 인건비와 비슷한 수준의 토큰 및 인프라 사용료를 지불해야 할 것이라고 경고했다. 따라서 에이전트가 아메바처럼 계속 증식하는 것은 기업 관점에서 부채가 되므로, 콤팩트하고 효율적인 운영이 이상적인 모델이라고 강조했다.

AI 에이전트의 효율적인 관리를 위해 분리 및 통폐합 원칙을 명확히 해야 한다. 에이전트의 성공 목표, 접근 데이터, 시스템 보안 정책, 승인자나 권한 자체가 완전히 다를 경우에는 분리하는 것이 타당하다. 반면, 사용자의 요구가 많지 않은 에이전트들은 통폐합하여 효율성을 높일 수 있다고 김덕중 소장은 설명했다. 이러한 명확한 지침 수립을 통해 에이전트의 무분별한 증식을 막고 부채로 이어지는 것을 방지해야 한다.

단순한 태스크 수행을 넘어 다양한 역할을 담당하는 '에이전트 군단' 시대가 도래하고 있다. 김덕중 소장은 회의 녹음 파일을 회의록으로 자동 생성하는 '회의 에이전트'처럼 태스크 중심의 에이전트가 기본이라고 설명했다. 나아가 에이전트가 제대로 작동하는지 모니터링하는 에이전트, 에이전트의 성과를 관리하는 에이전트, 그리고 개선 사항을 찾아내는 에이전트 등 다양한 종류의 에이전트가 필요하고 적용되는 시점이라고 강조했다. 이는 다양한 AI 에이전트들의 유기적인 협업 체계가 중요해지고 있음을 의미한다.