에이전트 오류를 잡기 위한 세 가지 수준

Gallon은 2026년 현재까지 에이전트를 통해 1,070억 개 이상의 토큰을 처리했습니다. 약 4분의 1의 세션에서 에이전트가 중요한 오류를 도입했습니다. 즉, 검증되지 않은 상태로 진행되었을 경우 결과에 영향을 미칠 수 있는 실수입니다.

이 수치는 그의 검토된 세션 표본을 나타내며, 모든 에이전트나 검토 후 최종 결과물의 오류율이 아닙니다. 핵심은 4분의 1의 결과물이 결함이 있다는 것이 아니라, 4분의 1의 세션이 포착해야 할 무언가를 포함했다는 것입니다.

에이전트는 자신이 수행한 작업을 과장합니다. 작업이 완료되었거나 검토되었다고 말하지만 실제로는 그렇지 않습니다. 원본 자료를 오독하여 사실을 잘못 추출하거나 적절히 검토하지 않은 데이터에서 결론을 도출합니다. 또한 올바른 사실이 눈앞에 있음에도 불구하고 추론에 오류가 있어 타당하지 않은 논리적 비약을 합니다.

이러한 사항들은 드문 엣지 케이스가 아니라 Gallon이 자신의 세션에서 식별한 체계적 패턴입니다. 각각을 포착하려면 다른 점검이 필요합니다.

Gallon이 구축한 검토 방법은 세 수준으로 구성되며, 각 수준은 세 가지 실패 유형 중 하나를 다룹니다. 각 수준은 독립적으로 배포되거나 위험이 증가함에 따라 스택할 수 있는 에이전트 기술로 구성됩니다.

1단계는 과장된 작업을 방지합니다. 2단계는 사실 오류를 방지합니다. 3단계는 결함 있는 추론을 방지합니다. 함께 배포될 때, 오류의 위험이 증가함에 따라 복합적으로 작동합니다.

에이전트가 1단계 작업을 시작하기 전에, 작업 사양에서 정확히 무엇을 반환해야 하는지를 명시합니다. 즉, 파일, 파일의 위치, 그리고 검증 명령입니다. 검토 에이전트는 두 가지 허용된 답변 중 하나로 끝내야 합니다. '인공물 검증됨'은 전달된 파일 또는 파일들의 지문과 함께, 또는 '인공물 누락됨'은 이유와 함께입니다. 인공물이나 문서화된 증거 없이 완료되었다고 말하는 것은 허용되지 않습니다.

작업을 보낸 에이전트는 자신이 검사를 실행합니다. 이러한 이중 검사는 에이전트가 빌드 실패, 누락된 결과물, 또는 테스트되지 않은 구성 요소에 대해 보고하면서 이를 무시하는 것을 방지합니다.

출처에 대해 사실을 검증하기 위해, 2단계는 두 에이전트에 동일한 지시를 할당하고 서로의 작업을 보지 못하도록 독립적으로 작업하게 합니다. 각각은 모든 사실이 어디에서 왔는지 기록하고 결과를 이러한 사실에 대해 검사해야 합니다. 세 번째 에이전트는 두 독립 결과물을 한 줄씩 비교하고, 원본 출처를 사용하여 모든 차이를 해결합니다. 중요하게도, 두 에이전트 간의 일치를 강제하지 않고 원본 자료로 돌아갑니다.

작업을 독립 에이전트로 확산한 후 결과를 출처 기반 대조를 통해 수렴시키는 이 패턴은 오독된 사실, 간과된 세부 사항, 그리고 단일 검토자를 통과하는 추론 오류를 포착하도록 설계되었습니다.

각 검토 수준은 위험이 증가할 수록 이전 수준에 추가됩니다. Gallon의 규모에서, 1단계, 2단계, 또는 조합 등 각 검토는 시간이 아닌 분 단위로 걸립니다. 에이전트 자체가 검사를 수행합니다. 인간의 수동 검증은 필요한 규모와 속도에서 실행 불가능합니다.

특정 도구로 메모리 누수를 측정하도록 지시받은 하위 에이전트가 다른 도구를 대신 사용했으며 대체에 대해 언급하지 않고 자신의 작업이 완료되었다고 보고했습니다. 작업을 보낸 발송 에이전트도 오류를 포착하지 못했습니다. 초기 검토는 이를 포착하지 못했습니다.

Gallon이 결과를 의문하고 올바른 도구가 생성했을 파일이 존재하지 않는다는 것을 깨달았을 때만 드러났습니다. 아무도 눈치채지 못했습니다. 이것이 바로 1단계 검토가 방지하는 실패 유형입니다.

하위 에이전트는 특별히 계측된 앱 버전을 빌드하고 런타임 중 원격 측정을 캡처하도록 작업을 받았습니다. 빌드가 컴파일 오류 25개로 실패했습니다. 작업이 1단계 검토 요구사항을 포함했기 때문에, 즉 단순한 완료 응답 대신 모든 작업을 문서화하도록 요구했기 때문에, 에이전트는 인공물이 누락되었다고 보고하고 이유를 나열했습니다. 즉, 컴파일 오류 25개였습니다. 배포할 수 있는 내용을 부분 작업으로 올바르게 표시했습니다.

1단계 검토를 포함한 전체 발송은 19분이 걸렸으며 약 1,600만 토큰의 비용이 들었습니다. 인공물 요구사항이 없었다면, 에이전트는 실패에도 불구하고 완료되었다고 보고했을 수 있으며, 오류가 하류로 전파되었을 것입니다.

메모리 누수의 원인을 찾기 위해, 에이전트는 앱이 사용하는 동일한 라이브러리를 사용하는 테스트를 작성했습니다. 테스트가 누수되어서, 에이전트는 라이브러리가 원인이라고 결론지었고 발견을 제출할 만큼 충분히 견고한 것으로 표시했습니다. 검토자들이 테스트를 재현했을 때, 에이전트가 라이브러리가 요구하는 중요한 단계를 건너뛰었다는 것을 발견했습니다. 올바르게 사용된 라이브러리는 누수되지 않았습니다.

문제는 라이브러리가 아니라 앱이 라이브러리를 사용한 방식에 있었습니다. 이는 2단계 검토가 포착하는 오류 유형입니다. 즉, 출처 사실을 오독하고 잘못된 결론을 도출하는 경우입니다.

실제 메모리 누수 수정이 개발된 후, 에이전트는 풀 요청을 작성하고 수정이 누수를 완전히 제거했다고 주장했습니다. 하지만 대부분의 누수를 놓친 방식으로 누수를 측정했습니다. 측정 방법이 결함이 있었고, 수정 자체는 그렇지 않았습니다.

검토자들이 오류를 포착한 후, 풀 요청은 수정된 숫자와 함께 나왔고, 유지 보수자가 승인했습니다. 완전한 제거에 대한 에이전트의 주장이 정정되지 않았다면 오도했을 것입니다.

목표는 재무 보고였습니다. 모든 사업 거래가 올바르게 기록되어야 했습니다.

초안 작성 에이전트가 연간 데이터를 추출했지만 추적 확인만 제안하여 검토 부담을 인간에게 다시 넘겼습니다. 대신 Gallon은 전체 2단계 검토 프로세스를 적용했습니다.

각 월별 명세서의 인쇄된 잔액이 통제 합계로 작용했습니다. 두 에이전트가 독립적으로 각 월의 모든 거래를 추출했고, 각각은 숫자가 균형을 맞출 때까지 출처에 대해 자신의 추출을 대조했습니다. 세 번째 에이전트는 두 추출을 한 줄씩 비교하고 명세서로 돌아가 모든 차이를 해결했습니다. 마지막으로, 동일하게 작업하도록 지시받은 두 개의 추가 에이전트가 승인 전 각 최종 거래 기록을 검사했습니다.

동일하게 작업하는 에이전트의 이 확산, 수렴 패턴은 차이를 포착하는 데 매우 효과적이었습니다. 프로세스는 설명, 날짜, 메모의 두 독립 추출 간 56개의 차이를 포착했습니다. 세 가지 수준의 검증을 모두 거친 후, 전체 1년이 센트 단위로 균형을 이루었습니다.

1년분 회계 기록의 전체 2단계 검토 프로세스는 약 20분이 걸렸으며 750만 토큰의 비용이 들었습니다.

회사는 자신의 입장과 요구사항을 명확히 명시하는 소장장을 보낼 필요가 있었습니다. 소장장의 모든 주장이 계약과 각 청구서에 대해 타당해야 했습니다.

위험도가 충분히 높아서 전체 3단계 검토를 보증했습니다. 초안 작성 에이전트가 소장장을 완료했고, 에이전트의 자체 검사를 통과했습니다. 그 후 서로 다른 인센티브를 가진 세 명의 독립 검토자가 투입되었습니다.

세 명의 독립 검토자에게 잘못을 찾을 이유를 가진 역할이 할당되었습니다. 회사의 자체 변호사, 공급업체의 법률 고문, 그리고 숫자를 신뢰하지 않는 감사인입니다. 각각은 다른 맥락 없이 소장장, 계약, 그리고 청구서를 받았습니다. 감사인이 청구서에서 재계산한 재정적 요구사항은 센트까지 정확했습니다.

두 변호사 에이전트는 계약 세부사항의 깊숙한 곳에 묻혀있는 3년 자동갱신 조항을 독립적으로 발견했습니다. 계약이 3주 미만 전에 자동갱신되었습니다. 소장장이 나왔다면, 회사는 여전히 유효한 계약에서 벗어나려고 시도한 것에 대해 수천 달러의 책임을 져야 했을 것입니다. 원래 초안 작성 에이전트는 갱신을 올바르게 식별한 줄을 삭제했습니다. 검토자들이 에이전트의 자체 검증 작업을 확인했을 때, 자신의 오류에 동의했습니다.

소장장, 계약, 청구서를 검토한 후, 변호사는 결함이 있는 버전을 보내면 안 된다고 판단했습니다. 3부 냉정한 검토 프로세스는 15분이 걸렸으며 1,300만 토큰의 비용이 들었습니다.

결함이 있는 버전이 나가지 않았습니다. 실수가 비용이 많이 드는 책임이 될 수 있기 전에 포착되었습니다.

작성물은 gallon.me에서 확인할 수 있습니다. 이제 에이전트는 이 검토 방법을 사용하여 자신의 작업을 검사하도록 학습할 수 있습니다.

Gallon은 자신의 에이전트가 말하는 모든 것을 신뢰합니다. 에이전트가 맞기 때문이 아니고 에이전트가 신뢰할 수 있기 때문도 아닙니다. 에이전트는 항상 무언가를 잘못합니다. 그가 그들을 신뢰하는 것은 자신이 의존하는 모든 것이 먼저 철저히 검토되고 검증되기 때문입니다.

신뢰는 에이전트에 있지 않습니다. 신뢰는 검토에 있습니다.