하네스 엔지니어링: 기본적인 AI 프롬프트 그 이상

기존 코딩 하네스의 확장으로서 스킬의 개념적 설계는 간단한 대화형 프롬프트의 한계를 해결하면서 신뢰할 수 있는 AI 솔루션을 생성하기 위한 보다 강력하고 확장 가능한 방법을 제공합니다.

'보라색 그라디언트'와 같은 트렌드가 '클라우드 베이지'와 같은 새로운 클리셰로 빠르게 바뀌는 것은 특정 미학을 명시적으로 금지하려는 시도가 종종 모델을 잠재 공간 내에서 다음으로 가장 흔한 패턴을 채택하도록 유도하는 방식을 보여줍니다.

산문 기반 프롬프트는 AI 모델의 내재된 편향(종종 모델의 내부 '중력'이라고 불림)을 극복하는 데 어려움을 겪습니다. 이 기본 경향은 광범위하고 잘 만들어진 자연어 지침에도 저항합니다.

심지어 250줄의 신중하게 작성된 산문도 기본 모델 경향을 재정의하기에 불충분하며, 특정 글꼴이나 색상에 반대하는 지시사항은 진정한 디자인 제어를 달성하기보다는 모델을 다음 예측 가능한 패턴으로 이동시킬 뿐입니다.

AI 모델은 종종 자신의 작업을 객관적으로 평가하는 데 실패하며, 자신의 숙제를 채점하는 것과 유사하게 초기 출력에 대한 고정 편향 때문에 자신의 창작물을 매우 높게 평가하는 경우가 많습니다.

적대적 프롬프트는 서로의 작업에 접근할 수 없는 두 개의 하위 에이전트를 독립적으로 작동시켜 편향 없는 비판을 보장함으로써 이를 해결합니다.

이 방법은 확정적 린팅과 블라인드 에이전트 평가 프로세스를 결합하여 모델이 사소한 오류에 과잉 반응하거나 중요한 결함을 간과하는 것을 방지합니다.

평가 작업의 분리는 AI가 생성한 콘텐츠에 대한 더 정확하고 비판적인 평가를 제공합니다.

이러한 자동화된 시스템은 지침에 대한 지속적인 준수를 보장하며, 사용자 정의 ESLint 규칙 및 구문 지침을 통한 개인화를 가능하게 하고, 필수적인 피드백 루프는 모델을 올바른 경로에 유지합니다.

자동화된 디자인 후크는 유용하지만, 빈번하게 오탐을 유발하므로 사용자 불만을 방지하기 위한 강력한 무시 규칙 생성 메커니즘이 필요합니다.

Impeccable과 같은 도구는 파일 수준 및 CSS 규칙 수준 무시 기능을 제공하여 자동화된 피드백에 대한 세분화된 제어를 제공함으로써 이를 해결합니다.

이러한 세분화는 AI 디자인 도구가 사용자에게 성가시게 되는 것을 방지하고 시스템이 방해가 아닌 도움이 되도록 보장하는 데 중요합니다.

Claude, Cursor, Codex와 같은 플랫폼은 하위 에이전트를 생성하는 고유한 방법을 가지고 있으며, 'ask user'와 같은 도구는 Claude와 달리 Codex의 계획 모드로 제한됩니다.

개발자는 플랫폼별 제한을 효과적으로 관리하고 광범위한 호환성과 기능을 보장하기 위해 조건부 코드를 작성해야 합니다.

예를 들어, Cursor와 Codex는 실제 채팅 스레드를 차단하는 포그라운드 작업을 생성하여 진정한 백그라운드 처리와는 다른 운영 역학을 초래하며, 테일 워치 기능은 도구에 따라 다르게 스로틀링됩니다.

예를 들어, Codex는 나쁜 글자 간격과 둥근 또는 가는 선 테두리에 대한 편향을 보여주므로 이러한 모델별 지침 편향을 식별하고 완화하기 위한 절제 테스트가 필요합니다.

Claude 및 Gemini와 같은 여러 AI 모델 전반에서 일관된 지침을 달성하려면 과적합을 방지하기 위한 모델별 빌드가 필요합니다. 한 모델에 대한 규칙이 다른 모델에 역효과를 줄 수 있기 때문입니다.

XML 블록은 각 모델에 대한 특정 회피 규칙을 삽입하는 데 사용되며, 모델에 의한 지침 압축이 엄격한 게이트 구조를 통해 관리되어 품질을 유지합니다.

종단 간 작업 완료를 보장하려면 모델이 모든 게이트 결과를 기록하도록 강제함으로써 지침을 '건너뛸 수 없도록' 만들어야 합니다.

이 접근 방식은 모델이 어려운 상황에서 벗어나는 것을 방지하고 복잡한 지침에 대한 규율 있는 준수를 보장합니다.

스킬의 일부는 캐시될 수 있지만, 동적 호출 부분은 캐시되지 않습니다. 쉘 실행의 특성상 결과는 항상 변경될 수 있는 것으로 취급되기 때문입니다.

맞춤형 내부 Eval 하네스는 다양한 모델에 대한 특정 도구 조건을 정밀하게 재현하여 엄격한 테스트를 통해 다양한 AI 환경 전반에서 지침이 일관되게 따르도록 보장합니다.

Paul Bakaus는 다른 LLM에 대해 사용자로 작동하는 LLM을 개발했으며, 다양한 틈새 시장 및 모델 전반에서 AI 스킬 출력을 평가하기 위한 '전문가 디자인 심사위원 혼합'을 통합했습니다.

절제 테스트는 소스 코드에서 특정 규칙을 체계적으로 제거하여 기능적 영향을 확인하고 각 규칙의 필요성과 효율성을 보장합니다.

확정적 탐지 엔진은 LLM이 생성한 변경 사항을 미리 정의된 규칙 세트에 대해 확인하여 '감각 기반' 개발에서 전투에서 검증된 파이프라인으로의 전환을 공고히 합니다.

GPT-4, GPT-3.5, Opus, Sonnet과 같은 20가지 다른 틈새 시장 및 모델을 포함하는 이 엄격한 테스트 프레임워크는 고품질의 신뢰할 수 있는 AI 스킬 성능을 보장합니다.

Bakaus는 품질과 신뢰성을 보장하기 위해 검증되지 않은 공개 제공에 의존하기보다는 개별 사용자가 자신의 AI 스킬을 작성하고 패키징할 수 있도록 권한을 부여해야 한다고 주장합니다.

현재 생태계는 표준화된 배포 방법과 엄격한 전투 테스트의 상당한 부족으로 인해 저자가 처음에 테스트하지 않은 모델에서 실행될 때 종종 실패하는 스킬로 이어집니다.

이 문제는 더 넓은 문제를 강조합니다. 현재 사용 가능한 수많은 다른 AI 하네스 전반에 걸쳐 스킬 배포에 대한 산업 표준이 없기 때문입니다.