브라우저 에이전트가 프로덕션 환경에서 실패하는 이유

데릭 미건(Derek Meegan)의 관찰에 따르면, 브라우저 에이전트 데모를 실행하는 것은 일반적으로 단일 사이트와 감시 하에 단일 실행을 포함하기 때문에 간단합니다.

그러나 프로덕션 환경에서는 사이트 변경이나 모델 불일치와 같은 외부 요인으로 인해 배포 및 성공이 크게 복잡해지는 수천 건의 무인 실행이 필요합니다.

데릭 미건(Derek Meegan)에 따르면, 모델은 페이지 상태, 전반적인 목표 또는 과거 단계를 나타내는 입력 토큰을 처리하여 가장 가능성 있는 행동을 예측하고 제안합니다.

브라우저 인터페이스는 HTML, 접근성 트리, 브라우저 상태 저장소 등 여러 계층으로 구성되며, 상호 작용 전략은 텍스트 표현, 스크린샷을 통한 컴퓨터 비전, JavaScript 또는 Chrome DevTools Protocol(CDP)을 사용한 동적 코드 실행을 포함합니다.

브라우저 에이전트 경로는 단일의 특정 작업을 위해 설계된 맞춤형 에이전트부터 목표에 대한 사전 지식 없이 임의의 사용자 제공 작업을 처리하는 고도로 자율적인 적시 자동화까지 다양합니다.

이는 작업의 최종 완료 시에만 가치 실현이 이루어지기 때문입니다.

데릭 미건(Derek Meegan)은 다른 시스템과 달리 웹 자동화는 부분적으로 완료된 단계에 대해 부분적인 인정을 제공하지 않으므로 전체 프로세스가 이진 결과가 된다고 설명합니다.

단계별로 99%의 정확도를 달성하는 브라우저 에이전트는 100단계 이상에서 단 36%만 성공하여 로컬 성능과 전반적인 작업 완료 간의 불일치를 보여줍니다.

데릭 미건(Derek Meegan)은 이러한 누적 오류가 비용과 위험을 증가시켜 궁극적으로 최종 가치를 실현할 확률을 낮추지만, 신뢰할 수 있는 프로덕션 결과는 여전히 달성 가능하다고 주장합니다.

에이전트는 소비하는 것보다 더 많은 가치를 창출해야 하는 재무 항목으로 간주되어야 하며, 여기서 가치는 고객 작업의 일관되고 반복적인 완료로 정의됩니다.

데릭 미건(Derek Meegan)에 따르면, 비용과 유지 관리 가능성은 엔지니어링 최적화 문제이며, 성공은 추상적인 지표보다는 확인 이메일, 영수증 ID 또는 데이터베이스 레코드와 같은 구체적인 결과물로 측정되어야 합니다.

데릭 미건(Derek Meegan)은 실행당 50%의 성공률을 가진 에이전트가 트랜잭션당 4번의 재시도로 94%의 성공률을 달성할 수 있음을 보여주며, 고객 만족은 시도 횟수가 아닌 워크플로우 완료에 달려 있음을 강조합니다.

데릭 미건(Derek Meegan)은 오픈소스 환경의 확대로 인해 모델 비용이 시간이 지남에 따라 브라우저 에이전트 경로 배포의 감소하는 구성 요소가 될 것이라고 예상합니다.

그러나 인프라, 컴퓨팅, 통합 도구는 여전히 중요한 비용 동인이 될 것이며, 유지 관리는 관찰 가능성, 구성에 필요한 개발 시간, 환경 변화에 대한 지속적인 재평가에 상당한 투자를 요구합니다.

향상된 모델 기능은 사용자 의도를 더 직관적으로 이해하고 오류 발생 시 효과적으로 경로를 수정하여 궁극적으로 의도한 목표를 달성하는 데 도움이 됩니다.

이러한 발전에도 불구하고 웹 자동화는 웹사이트가 API를 거의 제공하지 않아 에이전트가 웹 상호 작용을 무기한으로 처리해야 하는 문제에 직면합니다. 이는 실행 간에 주요 경로에서 벗어날 수 있는 모델의 본질적인 비결정론적 특성으로 인해 복잡해집니다.

건강 보험 포털에서 혜택 설명 문서를 자동으로 검색하려면 개발자는 복잡한 작업을 결정론적 도구 호출로 캡슐화하고 시스템 기록에 대해 결과를 확인해야 합니다.

이를 달성하기 위해 다운로드 및 파일 검색과 같은 복잡한 작업은 단일의 결정론적 도구 호출로 캡슐화되며, OCR 도구는 에이전트의 작업을 기록 시스템에 대해 확인합니다.

인증 로직은 에이전트의 책임에서 추출되어 여러 비즈니스 워크플로우에서 재사용되며, '기술'은 에이전트를 주요 경로로 안내하는 표준 운영 절차로 개발되어 모호성을 최소화하고 신뢰성을 향상시킵니다.

최종 시스템 아키텍처는 서버리스 인증 기능을 사용하여 브라우저 환경을 준비하고, 에이전트가 미리 정의된 기술 경로를 따르고, 결정론적 다운로드 기능을 사용하며, OCR 도구로 결과를 검증하도록 합니다.

모델의 핵심 책임에 필수적이지 않은 단계를 제거함으로써 전체 시스템은 더 유지 관리 가능하고 성능이 향상되며, 브라우저 에이전트의 본질적인 신뢰성 한계를 극복하기 위해 단계 수를 줄이는 데 중점을 둡니다.