AI 에이전트의 지속적인 개선

기존 소프트웨어 시스템은 결정론적 규칙을 따르며, 주어진 입력에 대해 항상 동일한 출력을 생성하지만, AI 에이전트는 종종 다양한 결과를 생성하여 예측 가능성이 떨어집니다.

시스템은 기술적으로는 건전해 보일 수 있지만, 질적으로 잘못되거나 부정확한 응답을 생성할 수 있어 전문적인 모니터링의 필요성을 강조합니다.

AI 엔지니어링은 이러한 비결정론적 에이전트를 개선하고 감독하여 출력이 원하는 품질 표준에 부합하도록 특별히 설계된 프로세스의 연속적인 루프로 정의됩니다.

프로덕션 환경 추적 및 모니터링은 온라인 단계를 구성하고, 데이터셋 구축 및 오프라인 실험은 주기를 완성합니다. 언급했듯이 프레임워크는 두 가지 큰 부분으로 구성됩니다.

온라인 추적 및 모니터링은 에이전트 성능에 대한 실시간 통찰력을 제공하므로 대부분의 팀에게 필수적인 첫 단계로 권장됩니다.

오프라인 테스트는 에이전트 동작의 회귀를 방지하는 것이 가장 중요한 고위험 환경에 특히 중요하며, 모니터링 단계에서 얻은 통찰력을 바탕으로 구조화된 테스트 데이터셋이 파생됩니다.

모든 것이 추적에서 시작되므로, 잘못된 메타데이터는 비효율적인 모니터링과 불량한 데이터셋 생성으로 이어집니다. 저자는 추적이 나쁘면 모든 것을 포착할 수 없다고 강조합니다.

효과적인 모니터링을 위해서는 LLM 호출의 세부 정보와 도구 호출의 메타데이터를 포함하는 고품질 관찰이 필요하며, 에이전트의 내부 작동에 대한 포괄적인 시야를 제공합니다.

토큰 사용량, 계산 비용, 프롬프트 버전 등의 메타데이터는 에이전트의 품질과 효율성을 철저히 평가하는 데 필수적입니다.

자동화된 평가자는 높은 확장성을 제공하여 모든 추적에 대한 지속적인 모니터링을 가능하게 하며, 이는 대규모 배포에서 일관된 성능을 유지하는 데 중요합니다.

그러나 사람의 주석과 직접적인 사용자 피드백은 자동화된 시스템이 놓칠 수 있는 미묘하고 예상치 못한 실패 모드 또는 새로운 사용 사례를 식별하는 데 필수적입니다.

사용자 피드백은 중요한 신호 역할을 하여 어떤 특정 추적이 수동 검토와 심층 조사를 필요로 하는지 우선순위를 정하는 데 도움을 줍니다.

'Specs' 에이전트는 모바일 장치 관련 사용자 질문에 답변하여 기술 전화 지원을 제공하도록 특별히 설계되었습니다.

이 툴킷에는 사용자 전화 모델, 운영 체제 및 설치된 애플리케이션과 같은 지원 컨텍스트에 대한 액세스는 물론, 자주 묻는 질문 및 해결책이 포함된 검색 가능한 도움말 라이브러리가 포함되어 있습니다.

OpenAI API는 에이전트가 최종 응답을 생성하고 구성하는 데 활용되며, 주요 목표는 사용자가 정확하고 효과적인 지원을 받도록 이러한 상호 작용을 모니터링하는 것입니다.

Langfuse 추적은 AI 에이전트가 상호 작용 중에 수행한 모든 관찰, 생성 및 도구 호출에 대한 자세한 시각화를 제공합니다.

추적 로그의 각 행은 에이전트의 추론 과정에서 특정 단계를 명확하게 나타내어 개발자가 작동 흐름을 따를 수 있도록 합니다.

이러한 수준의 계측은 개발자에게 전례 없는 가시성을 제공하여 사용자가 에이전트와 상호 작용하는 동안 발생하는 기본 작업 및 의사 결정 프로세스를 드러냅니다.

대화 기록에 대한 더 암묵적인 분석을 위해 LLM-as-a-judge 평가자를 사용하여 에이전트-사용자 상호 작용의 미묘한 측면을 해석할 수 있습니다.

이 플랫폼은 대화 내 사용자 불일치 감지와 같은 일반적인 평가 시나리오를 위한 사전 구축된 템플릿을 제공합니다.

파이썬 스니펫을 통해 대문자 입력이나 금지된 언어와 같은 특정 사용자 행동을 플래그 지정할 수 있으며, 연사는 이 방법이 좌절감을 감지하는 데 도움이 된다고 설명했습니다.

이러한 평가자는 추적 데이터 내의 특정 JSON 경로를 처리하고 부울 점수를 반환하도록 설계된 사용자 지정 파이썬 함수로 구현됩니다.

이 시스템은 파이썬과 타입스크립트 모두로 작성된 사용자 지정 평가 논리를 지원하여 개발자가 감지 기준을 유연하게 정의할 수 있도록 합니다.

사용자 지정 평가자는 'Langfuse'와 같은 브랜드 이름의 잘못된 대문자 사용과 같은 일반적인 오류를 포착하여 브랜드 일관성을 보장하는 데 효과적으로 사용됩니다.

개발자는 사용자 지정 코드를 적용하여 특정 용어 또는 서식 규칙을 적용하고 에이전트 응답을 사전 정의된 품질 표준에 맞출 수 있습니다.

이 기능은 사용자 지정 평가자가 자동화된 품질 관리 메커니즘 역할을 하여 수동 검토 노력을 줄이고 전반적인 출력 신뢰성을 향상시키는 방법을 보여줍니다.

에이전트는 불일치 처리 기능을 테스트하도록 설계된 특정 입력으로 의도적으로 트리거되어 적절한 기능이 보장됩니다.

시스템은 추적 로그 내에서 평가자 결과를 기록하고 표시하는 능력을 검증하여 모니터링 설정의 운영 무결성을 확인합니다.

사용자-에이전트 상호 작용 후 실시간 피드백 루프는 평가자가 에이전트 성능을 정확하게 캡처하고 보고하는지 확인하기 위해 점검됩니다.

AI 비서는 '전화 IT 지원' 질문만 처리하도록 명시적으로 범위가 지정되어 운영 경계를 명확히 합니다.

평가자는 시스템의 사전 정의된 프롬프트와 실제 사용자 메시지를 비교하여 정의된 지원 범위를 벗어나는 요청을 식별하도록 구성됩니다.

이 기능은 개발 팀이 애플리케이션의 범위를 확장할지 또는 명확성을 위해 사용자 지침을 개선할지에 대해 정보에 입각한 결정을 내릴 수 있도록 합니다.

개발자는 일반적인 모니터링 설정을 단순히 복사하는 것을 피하고 평가 전략을 맞춤화하는 데 집중하도록 권장됩니다.

의미 있는 평가를 구축하는 핵심은 일반화된 템플릿을 넘어 시스템에 고유한 특정 애플리케이션 실패 모드를 분석하는 것입니다.

필터링된 점수를 활용함으로써 팀은 특정 문제의 빈도와 특성에 대한 정확한 통찰력을 얻고, 목표 개선을 가능하게 합니다.

프로덕션 추적, 특히 흥미롭거나 문제가 있다고 식별된 추적은 오프라인 평가를 위한 귀중한 데이터셋으로 변환됩니다.

이러한 실제 상호 작용 데이터는 개선 프로세스에 직접적인 정보를 제공하여 애플리케이션의 더 나은 미래 버전을 만듭니다.

프로덕션 데이터를 오프라인 테스트에 시딩함으로써 개발자는 통제된 환경에서 시스템 성능을 지속적으로 관찰하고 개선할 수 있습니다.

진단 보고서의 초기 결과는 검색 도움말 라이브러리 내에서 이전에 감지되지 않았던 '사일런트 검색 품질 실패'를 식별했습니다.

이 사일런트 실패는 검색 누락과 에이전트의 반복적인 도구 호출로 인해 지연 시간에 부정적인 영향을 미치고 비용을 증가시킵니다.

최근 트래픽 전반에 걸쳐 평가 범위 격차도 확인되었으며, 이는 현재 전체 추적의 일부에서만 실행 가능한 신호가 캡처되고 있어 포괄적인 분석을 제한한다는 것을 나타냅니다.

핵심 방법론은 프로덕션 추적에서 신호를 캡처하고, 평가 기준을 유지하며, 에이전트의 지속적인 개선을 달성하기 위해 데이터셋을 일관되게 관리하는 것을 포함합니다.

개발자는 새로 발견된 엣지 케이스를 오프라인 데이터셋에 통합하여 에이전트의 견고성을 향상시킴으로써 초기 가정을 넘어서야 합니다.

지속적인 개선을 위해서는 이러한 발견 사항을 CI/CD 파이프라인에 통합하여 회귀를 방지하고 새로운 변경 사항이 배포될 때 안정성을 보장해야 합니다.

평가 및 데이터셋 유지 관리는 일회성 작업이 아니라 AI 에이전트의 지속적인 품질을 보장하기 위해 반복적인 노력과 지속적인 반복이 필요합니다.

애플리케이션 품질의 신뢰할 수 있는 측정을 위해 사용자 행동 및 생산 현실을 정확하게 나타내는 데이터셋에 대한 실험을 수행해야 합니다.

자신감 있는 배포는 프로덕션에서 에이전트 동작을 관찰하고 오프라인 테스트를 통해 개선 사항을 검증하는 루프를 효과적으로 닫는 데 달려 있습니다.