스스로 개선하는 AI 에이전트 시대가 왔다

Langfuse의 Marc Klingen은 2024년부터 2026년까지의 기간이 고급 AI 모델이 에이전트 운영의 다운스트림 복잡성을 점점 더 추상화하는 새로운 시대를 나타낸다고 언급합니다.

2023년 초기의 응용 프로그램은 단일 파일 편집이나 간단한 GitHub 이슈-풀 리퀘스트 자동화와 같은 기본 기능으로 제한되는 경우가 많았으며, 자동화된 토큰 생성의 초기 기능을 보여주었습니다.

모델은 기본적인 토큰 생성에서 자율적인 추론 및 자체 검증이 가능한 시스템으로 크게 발전했으며, 현재 엔지니어링 팀은 수동 개입에서 AI 기반 최적화 루프로 전환하는 데 중점을 두고 있습니다.

기존 스택은 Datadog와 같은 관찰성 도구를 MLflow와 같은 MLOps 플랫폼과 분리하는데, Langfuse는 오래된 데이터셋에 대한 벤치마킹을 방지하기 위해 이러한 단절을 해결합니다.

기존 개발 스택은 일반적으로 Datadog와 같은 관찰성 도구를 MLflow 또는 Weights & Biases와 같은 MLOps 도구와 분리하여 별개의 운영 사일로를 만듭니다.

Langfuse는 이러한 격차를 해소하고 이러한 기능을 통합하여 에이전트 성능을 오래되거나 부정확한 데이터셋에 대해 벤치마킹하는 것과 관련된 위험을 방지하는 것을 목표로 하며, 이 과정은 수동으로 번거롭고 노동 집약적이라고 설명됩니다.

현대 에이전트 자율성은 저수준 토큰 예측부터 고도로 추상적인 인간 참여 추론 프로세스에 이르기까지 여러 계층에서 작동하는 자가 개선 스택에 의존합니다.

2023년에서 2024년경의 이러한 루프의 초기 반복은 GitHub Copilot와 같은 도구로 예시되었으며, 이는 기초 단계를 나타냅니다.

2025년에서 2026년 사이에 예상되는 현대 피드백 루프는 에이전트가 오류를 식별할 뿐만 아니라 수정 사항을 제안하고 자체 작업을 검증할 수 있도록 하지만, 실제 사용자 대면 질문에 데이터셋을 맞추기 위한 인간의 개입은 여전히 중요합니다.

에이전트의 자가 개선 루프 내에서 데이터셋 및 평가 기준에 대한 제안된 변경 사항을 검토하는 데 인간의 개입이 필수적입니다.

자동화된 에이전트는 특정 데이터나 좁은 실패 정의에 과적합될 위험이 있으며, 잠재적으로 최적이 아닌 성능으로 이어질 수 있습니다.

또한 모든 생산 이상이 애플리케이션 수준의 수정이 필요한 것은 아닙니다. 일부 패턴은 에이전트의 주요 기능과 관련이 없을 수 있으며, 인간의 판단에 의해 필터링되는 것이 가장 좋습니다.

에이전트는 생산 추적 및 평가 기준을 활용하여 자체 구현에 대한 개선 사항을 제안하도록 프로그래밍될 수 있습니다.

개발자는 '언덕 오르기'라고 알려진 프로세스에 참여하여 모델 수정 또는 컨텍스트 집계 전략과 같은 다양한 조정을 설정된 데이터셋에 대해 반복적으로 테스트할 수 있습니다.

이러한 반복적인 성공은 에이전트의 어떤 측면이 최적화되고 있는지에 대한 명확하게 정의된 경계를 유지하는 데 달려 있습니다.

팀은 데이터셋이 실제 시나리오의 실제 사용자 활동과 동기화되도록 AI를 점점 더 많이 배포하고 있습니다.

고객 지원 에이전트의 경우, AI는 일반적인 사용자 질문을 통합하도록 데이터셋을 동적으로 업데이트하여 관련성을 향상시킬 수 있습니다.

AI는 생산 데이터 내에서 오류 패턴을 식별하여 오프라인 테스트 기준을 개선하고 개발 주기를 간소화합니다.

감독되지 않은 자동화는 특히 AI 애플리케이션에서 품질을 진정으로 개선하기보다는 '슬롭'을 생성할 위험이 있습니다.

AI 애플리케이션의 초기 목표는 종종 모호하여 개발 프로세스가 구축되는 동안 전략적 방향을 정의하기 위한 인간의 개입이 필요합니다.

따라서 인간은 고수준 목표를 설정하고 중요한 변경 사항을 검토하여 AI가 저수준 최적화 및 반복 개선을 처리하도록 해야 합니다.

에이전트 개발을 위한 전통적인 수동 추적 및 벤치마킹 방법은 상당한 시간 투자를 요구하지만 일반적으로 고품질 결과를 산출합니다.

반대로, 인간의 감독 없이 에이전트 루프를 완전히 자동화하면 AI가 가치 있는 출력을 구별하지 못할 수 있으므로 과도한 토큰 사용과 의미 있는 개선 부족으로 이어질 수 있습니다.

궁극적인 목표는 개발자가 지루하고 반복적인 작업을 제거하고 중요한 고수준 의사 결정 지점에 주로 개입하는 '약속된 땅'에 도달하는 것입니다.

AI 기반 평가 시스템은 시간과 인내심에 제약을 받는 인간 평가자보다 훨씬 더 많은 오류 사례를 처리할 수 있으므로 효율성과 적용 범위를 향상시킬 수 있습니다.

지원 채널 내 고객 반응과 같은 암시적 지표는 개발자의 직접적인 개입 없이 AI 에이전트를 위한 훈련 데이터를 제공합니다.

인간 팀원은 내부 에이전트 시스템이 제안한 응답을 수락하거나 수정하며, 이는 AI에 필수적인 학습 신호를 제공합니다.

이러한 실제 성능 지표의 지속적인 흐름은 AI 루프가 실시간 운영 데이터를 기반으로 적응하고 개선될 수 있도록 합니다.

Langfuse의 엔지니어링 팀은 새로운 기능 개발 속도가 증가함에 따라 릴리스 통신을 자동화하여 더 효율적인 프로세스가 필요했습니다.

각 풀 리퀘스트 병합 성공 후 자동으로 문서 및 변경 로그를 초안 작성하는 '변경 작성자' 에이전트가 구현되었습니다.

GitHub 풀 리퀘스트 검토 프로세스에 인간 피드백을 통합하여 에이전트 출력에 대한 주요 평가 신호를 설정합니다.

검토 및 변경 요청은 관찰성 및 평가 도구로 다시 전달되어 변경 작성자 에이전트가 미래 성능을 자동으로 개선할 수 있도록 합니다.

Langfuse는 에이전트의 문서 작성자가 사실적으로 정확하지만 지속적으로 명확성이 낮은 출력을 생성한다는 것을 확인했습니다.

주요 문제는 내부 전문 용어가 고객 대면 문서에 자주 나타나 사용자 이해를 방해한다는 것이었습니다.

전문 용어 유출을 제거하기 위해 에이전트는 자체 데이터셋 및 평가자에 대한 수정 사항을 제안하기 시작하는 재구성을 거쳤습니다.

이는 기술 구현 세부 사항을 사용자 도메인과 더 일치하는 언어로 대체하는 것을 포함했으며, 이는 가독성을 크게 향상시켰습니다.

새로운 에이전트 구현은 업데이트된 데이터셋에 대해 엄격하게 백테스트되어 성능 개선을 보장합니다.

시스템은 기존 에이전트 구현을 나타내는 v1 기준과 v2 후보를 체계적으로 비교하여 개선 정도를 정량화합니다.

사용자 대면 언어를 개선하고 명확성을 향상시키는 동안 시스템은 형식 준수 및 정확성 지표를 엄격하게 준수합니다.

에이전트가 개발 파이프라인 내에서 작동하고 생산 환경에 직접 배포하지 않으므로 변경 사항은 풀 리퀘스트를 통해 자동으로 병합됩니다.

생산 신호의 지속적인 수집과 실행 추적의 정밀한 추적은 강력한 AI 에이전트 구축의 기반을 형성합니다.

에이전트는 일반적으로 새로운 수집된 사용자 데이터를 처리하고 개선 주기에 다시 공급하기 위해 종종 크론 작업으로 예약된 연속 루프에서 작동합니다.

이러한 연속 피드백을 위한 데이터 소스에는 직접 사용자 피드백, 생산 시스템의 프로그래밍 방식 레이블링, 인앱 사용자 주석이 포함됩니다.

비용 효율적이고 락인 없는 스토리지 솔루션은 기업이 샘플링 대신 전체 컨텍스트 추적을 유지할 수 있도록 하여 에이전트가 기록 데이터에 대해 반복할 때 생성되는 많은 읽기 볼륨을 지원합니다.

이력 추적은 장기적인 에이전트 개선에 필요한 컨텍스트를 제공하는 데 중요하므로 보존이 필수적입니다.

기업은 샘플링에 의존하기보다는 전체 데이터셋을 유지해야 하며, 이는 이러한 데이터 집약적인 접근 방식을 지원하기 위해 비용 효율적이고 공급업체에 락인되지 않는 스토리지 솔루션에 대한 수요를 촉진합니다.