AI 에이전트 구축은 쉽지만, 문맥 누락으로 인해 여전히 확신에 찬 실수를 저지릅니다

Unblocked의 창립 엔지니어인 제프 응(Jeff Ng)은 AI 에이전트 개발의 현재 상태에 대한 통찰력을 공유하며, 과정이 상당히 쉬워졌음에도 불구하고 에이전트가 여전히 확신에 차서 잘못된 결과를 생성한다고 언급했습니다.

이전에는 에이전트를 구축하는 데 한 분기 동안 전체 팀의 공동 노력이 필요했으며, 이는 과거에 관련된 상당한 자원과 시간 투자를 강조합니다.

응은 에이전트 개발을 역사적으로 복잡하게 만들었던 중요한 인프라 문제를 자세히 설명하며, 각 구성 요소를 별도의 회사 기능에 비유했습니다. 이 중에서 체크포인트 지정 및 상태 지속성은 에이전트가 귀중한 정보를 잃지 않고 기록 데이터와 운영 루프를 통해 진행할 수 있도록 하는 데 가장 중요했습니다.

인프라의 일시적인 특성은 종종 비용이 많이 드는 세션 재시작으로 이어져 계산 리소스와 시간을 낭비했습니다. 또한, 에이전트가 승인되지 않은 네트워크 접근 또는 기타 잠재적으로 유해한 작업을 방지하도록 강력한 샌드박싱 메커니즘이 보안 위험을 완화하는 데 필수적이었습니다.

AI 생태계는 Cloudflare, Vercel, AWS와 같은 클라우드 인프라 제공업체가 한때 개발자에게 부담을 주었던 기본 복잡성의 많은 부분을 추상화하면서 상당한 성숙을 이루었습니다.

이러한 플랫폼은 이제 개발 프로세스를 크게 단순화하는 고급 기본 요소 및 서비스를 제공하며, Flu 및 Mastra와 같은 프레임워크가 이를 보완하여 엔지니어가 인프라 관리보다는 에이전트의 핵심 논리에 주로 집중할 수 있도록 합니다.

오늘날, AI 에이전트 정의는 몇 가지 필수 매개변수로 간소화되어 더 넓은 범위의 개발자가 접근할 수 있게 되었습니다.

이 프로세스에는 원하는 모델 선택, 시스템 프롬프트 또는 지침 작성, 에이전트가 접근할 수 있는 특정 도구 또는 기술 결정, 작업할 샌드박스 위치 지정이 포함됩니다.

응은 프로젝트 추적 도구인 Linear를 위해 특별히 설계된 이슈 보강 시스템을 시연함으로써 에이전트 자동화의 실질적인 응용 프로그램을 선보였습니다. 이 에이전트는 Linear 티켓을 가져와 기능 또는 버그로 분류한 다음 포괄적인 코드 저장소 검색을 수행하도록 설계되었습니다.

분석을 기반으로 에이전트는 문제를 해결하기 위한 다음 단계 계획을 수립하여 티켓 분류 및 초기 조사 프로세스의 일부를 효과적으로 자동화합니다.

정교한 분석에도 불구하고, 에이전트는 코드 분석을 기반으로 비동기 디스패치를 재활성화하도록 권장했을 때 치명적인 결함을 발견했습니다. 이 권장 사항은 사용 가능한 코드에서 기술적으로 도출되었지만, 운영 맥락에서는 근본적으로 잘못되었습니다.

결정적으로, 이 정확한 설정은 불과 며칠 전에 중단을 야기하여 지원 엔지니어들이 명시적으로 비활성화하도록 했습니다. 에이전트는 이 중요한 실제 맥락이 부족하여 알려진 문제를 다시 도입했을 해결책을 제공했습니다.

응은 에이전트의 실패가 상황에 대한 불완전한 이해, 특히 중요한 인간 생성 문맥에 대한 접근성 부족에서 비롯되었다고 설명했습니다. 에이전트는 코드 저장소 및 관련 티켓에 대한 전체 접근 권한을 가지고 있었지만, 중단 후 Slack에서 발생한 논의를 알지 못했습니다.

엔지니어들이 문제를 진단하고 해결하기 위해 협력했던 이러한 논의는 후속 사후 분석 문서와 함께 에이전트의 추론 과정에 전혀 제공되지 않은 중요한 '암묵적 지식'을 포함했습니다. 이는 비정형 인간 통신 및 사고 보고서에 대한 접근이 AI 에이전트의 신뢰성과 운영 인텔리전스를 개선하기 위한 다음 중요한 과제임을 강조합니다.