금융 에이전트 개발의 병목은 '개발자' 자신, 해결책은 개발 루프의 완전 자동화

금융 에이전트 개발 과정에서 나타나는 병목 현상의 주범은 개발자 자신과 개발에 사용되는 내부 하네스, 그리고 이를 통해 프로덕션 에이전트를 구축하는 과정에서 발생한다고 Auditoria AI의 데이터 과학자 Siddhant Imani가 지적했습니다. 그는 이 강연에서 개발자들이 개발 루프를 자동화하여 생산성을 높이는 방안에 대해 논의했습니다.

Imani는 금융 에이전트 개발의 병목 현상과 관련해, 개발자들이 현재 사용하고 있는 내부 하네스와 프로덕션 에이전트 구축 과정에서 발생하는 문제점을 자세히 다룰 예정이라고 언급했습니다.

이번 발표는 금융 분야의 프로덕션 에이전트를 구축하는 기업인 Auditoria AI의 데이터 과학자 Siddhant Imani가 진행합니다. 그는 이번 세션을 통해 금융 에이전트 개발에 대한 심층적인 통찰을 제공할 예정입니다.

AI 엔지니어 세계 박람회에서는 수많은 아름다운 데모들이 선보여지지만, 이러한 데모들이 실제 프로덕션 환경에서 파일럿으로 승격되고 새로운 고객을 온보딩하기 시작하면 문제가 발생합니다. 에이전트는 이전에 경험하지 못한 미래 데이터를 마주하게 되고, 이로 인해 프로덕션 버그가 급증하는 경향을 보입니다. 코드를 작성하고 멋진 데모를 보여주는 것은 쉬운 일이지만, 실제 운영 환경에서는 지속적인 버그 발생에 직면하게 됩니다.

Siddhant Imani는 많은 개발자들이 아름다운 데모를 쉽게 만들고 선보일 수 있지만, 이러한 데모들이 실제 프로덕션 환경에서 파일럿으로 전환되고 새로운 고객을 맞이하기 시작하면 에이전트가 접해보지 못한 새로운 데이터를 만나면서 수많은 버그가 발생하고 시간이 지남에 따라 그 수가 증가한다고 설명했습니다.

이러한 데모들이 프로덕션 환경에서 실패하는 원인은 더 나은 모델이나 더 빠른 GPU, 혹은 더 나은 프레임워크가 아니라고 Siddhant Imani는 강조했습니다. 그는 새로운 모델이 3개월 반마다, 새로운 칩과 GPU가 1년 정도마다 출시되며, 프레임워크 또한 매일 새로 등장하기 때문에 이러한 요소들은 쉽게 교체할 수 있다고 말했습니다. 진짜 문제는 이러한 프로덕션 버그를 실시간으로 어떻게 해결할 것인지에 있다고 지적했습니다.

Imani는 더 나은 모델이나 GPU, 프레임워크가 프로덕션 실패의 근본 원인이 아니라고 단언했습니다. 그는 모델과 하드웨어, 프레임워크는 빠르게 발전하고 쉽게 교체할 수 있는 요소들이므로, 프로덕션 환경에서 발생하는 버그를 효과적으로 처리하는 것이 훨씬 중요하다고 역설했습니다.

진정한 문제는 개발 루프의 속도에 있다고 Siddhant Imani는 결론지었습니다. 모델의 기능은 기하급수적으로 증가하고 있지만, 개발자들은 여전히 개발 루프를 자동화하기 위해 매일 많은 시간을 수동으로 할애하고 있다는 것입니다.

Imani는 모델의 기능 발전 속도에 비해 개발자들이 개발 루프를 자동화하는 데 들이는 노력이 부족하다고 지적하며, 개발 루프 속도 향상이 필수적이라고 강조했습니다.

개발 루프 자동화를 위해서는 네 가지 핵심 원시 요소를 고려해야 한다고 Siddhant Imani는 제시했습니다. 그는 이 세션이 끝난 후 참석자들이 프로덕션 코드에 이러한 원칙을 적용할 수 있기를 바란다고 말했습니다.

Imani는 개발 루프를 효율적으로 자동화하기 위한 네 가지 기본 요소를 언급하며, 이 요소들을 통해 프로덕션 코드의 개선을 기대했습니다.

개발 루프 자동화의 첫 번째 원시 요소는 서브 에이전트입니다. 현대의 하네스에서는 수많은 서브 에이전트를 생성할 수 있으며, 이들을 워크트리를 통해 관리하는 것이 중요합니다. 워크트리는 격리된 폴더처럼 작동하여 에이전트가 생성하는 모든 코드를 담고, 서브 에이전트들이 서로 충돌하지 않고 독립적인 작업을 병렬로 수행할 수 있도록 해야 합니다.

Siddhant Imani는 서브 에이전트의 활용을 강조하며, 워크트리가 독립적인 작업 단위를 관리하는 핵심 도구로서 병렬 처리를 가능하게 하여 효율적인 개발 환경을 구축하는 데 기여한다고 설명했습니다.

두 번째 원시 요소는 스킬입니다. 스킬은 각 조직의 고유한 비밀 레시피와 같으며, 에이전트에게 이러한 스킬을 부여하면 에이전트가 항상 올바르고 적절한 워크플로우를 사용하여 모든 프로덕션 버그를 해결할 수 있게 됩니다. 따라서 많은 스킬을 확보하는 것이 중요하다고 강조했습니다.

Imani는 스킬을 조직의 핵심 노하우로 정의하며, 에이전트가 이 스킬을 활용하여 효율적으로 문제를 해결하고 정확한 워크플로우를 유지하도록 하는 것이 중요하다고 설명했습니다.

세 번째 원시 요소는 MCP(Multi-Cloud Platform) 도구입니다. 현재 시장에는 다양한 MCP 도구들이 출시되고 있으며, 이들은 에이전트가 모든 MCP 도구와 타사 서버에 연결될 수 있도록 지원한다고 말합니다. 이는 클라이언트 데이터가 어떤 시스템에든 존재할 수 있음을 의미하며, 에이전트의 확장성을 보장합니다.

Siddhant Imani는 에이전트가 다양한 MCP 도구와 외부 시스템에 원활하게 연결될 수 있는 능력이 중요하며, 이는 클라이언트 데이터의 유연한 관리를 가능하게 한다고 설명했습니다.

마지막 원시 요소는 최소한의 UX(사용자 경험)입니다. 서브 에이전트가 많아질수록 조율해야 할 작업이 늘어나므로, 복잡성을 줄이는 최소한의 UX가 핵심적인 역할을 합니다. 이는 개발자가 여러 창을 열지 않고도 모든 작업을 처리할 수 있도록 하여 효율성을 극대화합니다.

Siddhant Imani는 다수의 서브 에이전트를 효율적으로 관리하기 위해서는 복잡성을 줄이는 최소한의 사용자 경험이 필수적이라고 강조했습니다. 이를 통해 개발자는 여러 작업을 한 화면에서 통합적으로 처리할 수 있게 됩니다.

Siddhant Imani는 에이전트가 개발 워크플로우의 거의 모든 단계를 자동화할 수 있는 예를 제시했습니다. 이는 QA가 버그 티켓을 보고하는 시점부터 시작하여, 에이전트가 요구사항 분석, 근본 원인 분석, 추적 정보 및 로그 수집, TDD 수행, 수정 구현, 테스트 스크립트 작성, 로컬 엔드투엔드 테스트 실행, PR 생성 및 검토 요청, 마스터 브랜치 병합, 도커 이미지 빌드, 개발 및 스테이지 환경 배포 및 테스트까지 전담하는 시나리오입니다. 이 모든 과정에서 그는 인간의 개입이 필요한 시점을 청중에게 질문했습니다.

그는 이 과정에서 에이전트가 버그 티켓 보고, 요구사항 분석, 근본 원인 분석, 로그 수집, TDD 수행, 코드 수정, 테스트 스크립트 작성, PR 생성, 코드 병합, 도커 이미지 빌드, 개발 및 스테이지 환경 배포 및 테스트 등 9단계에 걸친 작업을 수행하며, 이 중 어느 단계에서 인간의 접촉이 필요할지에 대해 질문했습니다.

Siddhant Imani는 앞서 언급된 9단계의 개발 워크플로우에서 인간의 역할은 1단계(초기 검토)와 9단계(최종 유효성 검사)에만 필요하다고 주장했습니다. 중간 단계에서는 에이전트가 훨씬 더 효율적이고 정확하게 작업을 수행할 수 있기 때문에, 인간은 에이전트가 무엇을 하는지 확인하고 최종적으로 작업이 배포된 후 유효성을 검사하는 역할에 집중해야 한다는 것입니다.

그는 인간이 에이전트의 작업을 검토하고, 배포된 결과물을 최종적으로 검증하는 역할에 한정되어야 한다고 강조했습니다. 이는 에이전트가 중간 단계의 작업을 더 잘 수행할 수 있다는 믿음에 기반합니다.

개발자들이 소프트웨어 수명 주기에서 다양한 작업을 수행할 때, 여러 창을 열어놓고 다중 모니터를 사용하는 것은 오히려 비효율적일 수 있습니다. Siddhant Imani는 Mac OS 위젯과 같은 단일 통합 위젯을 사용하여 많은 작업을 처리함으로써, 하나의 변경 사항을 배포하기 위해 목을 돌리는 횟수, 즉 컨텍스트 스위칭을 크게 줄일 수 있다고 설명했습니다.

그는 이 하나의 위젯만으로도 개발자들이 많은 작업을 처리할 수 있으며, 이를 통해 개발 과정에서 발생하는 불필요한 움직임과 컨텍스트 전환을 줄여 효율성을 높일 수 있다고 언급했습니다.

Auditoria AI가 활동하는 금융 분야는 엄격한 규제를 받고 있습니다. Siddhant Imani는 인공지능이 없는 상황에서 금융 부문 내 서브 에이전트 팀을 조율할 때는 인간 감사자가 코드를 검토하고, 컨트롤러가 SOX(사베인스-옥슬리법) 규정 준수 여부를 확인하는 것이 일반적이라고 설명했습니다. 이는 금융 분야의 특성상 인간의 책임이 필수적임을 보여줍니다.

Imani는 금융 분야의 규제 환경을 언급하며, AI 없이 서브 에이전트 팀을 조율할 경우 인간 감사자가 코드 검토를, 컨트롤러가 SOX 규정 준수를 담당하는 것이 일반적이라고 밝혔습니다.

에이전트 간 검토 과정에서 생산 문제가 발생할 경우, 그 책임 소재를 명확히 하는 것이 중요하다고 Siddhant Imani는 강조했습니다. 그는 클라우드나 에이전트 자체에게 책임을 물을 수 없으므로, 결국 인간의 책임이 필수적이라고 지적했습니다. 에이전트가 작업을 수행하더라도 최종적인 책임은 인간에게 귀속된다는 의미입니다.

Imani는 에이전트 대 에이전트 검토 시 생산에서 문제가 발생했을 때, 클라우드나 에이전트에게 책임을 전가할 수 없으므로, 결국 인간이 그 책임을 져야 한다고 역설했습니다.

Siddhant Imani는 지금까지 에이전트의 작업을 사람이 검토하고 검증해야 한다고 말해왔지만, 이제는 에이전트와 모델의 자체 개선 능력 덕분에 개발자를 루프에서 완전히 제외할 수 있다고 주장했습니다. 그는 Fable 5, Mythos 5, GPT 5.6과 같은 최신 모델들의 발전이 이러한 변화를 가능하게 한다고 보았습니다.

Imani는 최신 에이전트와 모델의 자체 개선 기능을 통해 이제는 개발자가 직접 모든 단계를 검토하고 검증할 필요 없이, 더 높은 수준의 자동화가 가능해졌다고 설명했습니다.

모든 생산 실패는 에이전트의 자체 개선을 위한 귀중한 입력으로 활용될 수 있다고 Siddhant Imani는 설명했습니다. 개발 도구를 매일 자동화하고 에이전트에게 스스로를 업그레이드하도록 지시하면, 에이전트는 작업을 수행하고 루프를 1~2일 정도 실행하며 5~6개의 버그 티켓을 해결합니다. 이 과정에서 에이전트는 모든 병목 현상을 분석하여 목록을 만들고, 매일 이러한 병목 현상을 점진적으로 제거함으로써 자동으로 개선됩니다.

Imani는 에이전트가 생산 실패를 학습하고, 개발 도구를 자동화하여 스스로를 업그레이드할 수 있다고 강조했습니다. 에이전트가 병목 현상을 분석하고 제거하는 과정을 통해 매일 개선되는 재귀적 자동화 시스템을 구축할 수 있다고 설명했습니다.

Siddhant Imani는 이제 에이전트에게 목표를 설정하고 이를 잊어버릴 수 있는 시대가 왔다고 말했습니다. 에이전트에게 특정 보고서에 데이터 불일치가 있다고 알리는 목표를 부여하고, 생산 버그에서 에이전트가 생성한 데이터와 원본 데이터가 일치하지 않는 문제를 수정하고 조사하도록 지시할 수 있습니다. 이러한 목표와 루프를 결합하면 에이전트가 자동으로 문제를 해결하고 시스템을 개선해 나갈 수 있습니다.

그는 에이전트에게 목표를 설정하고 자동화된 루프를 실행함으로써 데이터 불일치와 같은 생산 문제를 에이전트가 스스로 해결하도록 할 수 있다고 설명했습니다. 이는 에이전트의 자율적인 문제 해결 능력을 강조하는 부분입니다.

Siddhant Imani는 에이전트가 인간처럼 '꿈'을 꿀 수 있는 기능을 통해 시스템을 자동 업그레이드할 수 있다고 설명했습니다. 예를 들어, 많은 고객이 동일한 유형의 문제 패턴을 겪고 있다면, 에이전트가 백그라운드에서 고객이 사용하는 모든 세션을 수집하여 이를 시스템이 활용할 수 있는 데이터 포인트로 압축할 수 있습니다. 이를 통해 에이전트는 기본적으로 스스로를 업그레이드하고, 고객들이 반복적으로 겪는 문제를 사전에 학습하여 해결할 수 있게 됩니다. 이는 시스템의 능동적인 개선을 가능하게 합니다.

그는 고객들이 겪는 반복적인 문제 패턴을 에이전트가 인간처럼 '꿈'을 꾸듯이 학습하고 데이터를 축적하여 시스템을 스스로 업그레이드할 수 있다고 강조했습니다. 에이전트는 고객 세션 데이터를 수집하고 이를 분석하여 자체 개선에 활용함으로써, 문제 발생 전에 미리 대응할 수 있는 능력을 갖추게 됩니다.

Siddhant Imani는 인간의 주의력은 매우 제한적이므로, 인간은 항상 검증자 역할을 수행하되 에이전트의 처리량을 제한하는 병목이 되어서는 안 된다고 결론지었습니다. 에이전트가 대부분의 처리를 담당하고, 인간은 최종적인 확인과 승인에 집중해야 한다는 것입니다.

그는 인간의 제한된 주의력을 감안하여, 인간은 에이전트가 수행한 작업에 대한 검증자 역할에 머물러야 하며, 에이전트의 처리 능력을 저해하는 요소가 되어서는 안 된다고 강조했습니다.