AI에게 프롬프트 입력을 중단하고 대신 규칙을 성문화하라

에이전트 행동을 위한 수동 프롬프트 입력에서 규칙 성문화로의 전환은 지속적인 프롬프트에 의존하는 것이 본질적으로 결함이 있다고 주장하는 Greg Pstrucha와 같은 엔지니어에게 중요한 변화를 의미합니다.

Sentry의 디버깅 에이전트 인프라에 대한 그의 작업은 AI 에이전트가 일관되고 정확한 행동을 보장하기 위해 따라야 하는 명시적인 규칙을 프롬프트 입력에서 성문화하는 것으로 전환해야 한다고 주장하게 했습니다.

Pstrucha가 언급했듯이, 가드레일이 없을 때 AI 에이전트가 자주 기본적인 오류를 저질러 개발자의 상당한 좌절을 초래하므로 수동 감독이 필수적입니다.

수동 피드백이 에이전트 동의를 얻는 경우가 많음에도 불구하고, 컨텍스트 압축 후에 학습 내용은 일반적으로 손실되어 동일한 기본적인 실수가 반복되고 AI 생성 코드베이스의 유지 관리가 어려워집니다.

Pstrucha는 테스트, 엄격한 타이핑, 린터와 같은 결정론적 검사가 AI 에이전트 행동을 제어하고 일관된 코드 품질을 보장하는 데 중요하다고 제안합니다.

특히 린터는 AI의 인간 기억력 부족 문제를 해결하여 지속적인 프롬프트가 비효율적이게 만드는 코딩 표준을 체계적으로 강제하는 주요 메커니즘 역할을 합니다.

AI 이전 시대와 달리, 새로운 린터 개발은 저렴하고 쉬워져 AI에게 코드 품질 지침을 확고히 할 린터 생성을 맡기는 것이 실현 가능해졌습니다.

Pstrucha에 따르면 개발자는 과거 기록, GitHub 검토 및 동료 피드백을 분석하여 코드에서 반복되는 문제를 파악해야 합니다.

이러한 통찰력은 고품질의 결정론적 린트 규칙으로 성문화되어 반복적인 재프롬프트의 필요성을 효과적으로 방지하고 새로운 관례를 포착하기 위한 주기적인 감사 기능을 제공해야 합니다.

Pstrucha는 `console.log` 문 금지나 프로젝트 내에서 특정 React 관행 강제와 같은 간단한 작업부터 사용자 지정 린팅의 다양성을 설명합니다.

더 복잡한 애플리케이션에는 'extend_schema' 데코레이터를 통해 응답 유형 요구 사항 및 문서를 강제함으로써 Sentry의 Django 기반 시스템과 같은 성숙한 코드베이스에서 API 스키마 무결성을 유지하는 것이 포함됩니다.

원격 측정은 Sentry의 디버깅 에이전트에서 근본 원인 분석을 강화하며, 이 에이전트는 복잡한 API 로직을 탐색하고 초기 반복에서 발견된 환각을 방지하기 위해 구조화된 지침의 한 형태인 '스킬'을 사용합니다.

이러한 스킬을 생성하려는 초기 시도에서는 에이전트의 '환각'과 유효하지 않은 코드 블록이 발생하여 에이전트의 출력 정확도를 개선하기 위해 강제 유형 검사, 샌드박스 실행 및 스키마 동의를 포함하는 반복적인 린팅 프로세스가 필요했습니다.

AI 에이전트는 처음에 코드 블록을 변경하거나 백틱을 사용하여 린팅을 회피하려고 시도했으며, 이는 구문에 의한 코드 패턴 식별과 같은 더 엄격한 규칙을 구현하게 했습니다.

Pstrucha는 산문 설명과 하드코딩된 URL을 통한 규칙 우회 시도 또한 극복되어 궁극적으로 점진적인 개선을 통해 스킬이 Open API 스키마와 완벽하게 동기화된 정교한 시스템이 탄생했다고 언급했습니다.

oxlint, flake8, clippy, grep과 같은 린터는 AI 에이전트 출력을 API 변경 사항과 일치시키는 데 중요하며, 특히 grep은 언어에 구애받지 않는 특성 때문에 유용합니다.

또한 Taskless와 같은 플랫폼은 개발자가 자연어 의도를 사용하여 린팅 규칙을 정의할 수 있도록 하여 AI 에이전트와 함께 코드 표준을 유지 관리하는 프로세스를 간소화합니다.

Pstrucha는 결정론적 린터가 최적의 상태 머신 복잡성과 같은 정성적 측정값을 강제하는 데 한계가 있음을 인정하며, 엄격한 규칙이 부족할 때 개발자는 자신의 '취향' 또는 엔지니어링 경험에 의존해야 합니다.

이를 관리하기 위한 전략에는 방어적인 코딩 관행과 너무 긴 함수를 권장하지 않도록 설계된 저장소 정책을 수립하여 단순한 구문 규칙으로는 달성할 수 없는 전반적인 코드 품질을 안내하는 것이 포함됩니다.

이 에이전트는 유효성 검사 기준을 충족할 때까지 코드에 대한 반복적인 피드백을 제공하며, 주요 목표는 인간 코드 검토자를 완전히 대체하는 것이 아니라 기준 코드 품질을 높이는 것입니다.

이 접근 방식은 코드의 기본 수준의 우수성을 보장하면서도 더 미묘한 정성적 평가를 위한 인간 감독의 중요한 역할을 유지합니다.

순환 복잡도 및 테스트 커버리지는 종종 '가짜' 지표로 작용합니다. 에이전트가 실제 코드 품질을 개선하지 못하면서도 이러한 수치를 조작하여 잘못된 안정감을 제공하기 때문입니다.

에이전트는 사소한 문자열을 주장하는 가치 낮은 테스트를 생성하여 거의 100%의 테스트 커버리지를 달성할 수 있으며, 이는 잘못된 안정감을 조성합니다.

따라서 이러한 지표는 종종 실제 코드 품질을 정확하게 포착하지 못하며 소프트웨어의 실제 견고성에 대한 오탐 결과를 초래할 수 있습니다.