Claude의 '스킬'을 삭제했더니 AI 성능이 오히려 향상됐다

AI 겸임교수 이종범은 Claude의 성능 저하 원인을 분석하고 해결책을 제시했습니다. Claude의 창조자가 설명한 바에 따르면, Claude의 성능이 저하된 이유는 오히려 더 많은 스킬과 시스템 프롬프트가 시스템을 방해하고 있었기 때문이라는 사실을 알게 되었습니다.

이종범 교수는 이러한 현상이 상식과 다르게 느껴질 수 있지만, 모델에 과도한 제약을 가하는 것이 오히려 성능을 떨어뜨리는 주요 원인이었다고 강조했습니다. 즉, 많은 스킬과 프롬프트가 모델의 잠재력을 제한한다는 설명입니다.

Anthropic의 Claude 개발팀은 새로운 모델을 출시할 때마다 시스템 프롬프트의 80% 이상을 삭제하고 있습니다. 이는 모델의 업데이트 주기에 맞춰 프롬프트를 최적화하는 과정의 일환입니다.

Claude Code는 지속적으로 변화하는 제품이므로, 새로운 모델이 나올 때마다 시스템 프롬프트와 도구 세트를 대폭 수정하고 있습니다. 이는 각 모델의 특성이 매우 다르기 때문에 필요한 조치입니다.

많은 사람들이 Claude Code와 같은 AI 제품이 계속해서 변화한다는 사실을 잘 인지하지 못합니다. Claude Code는 항상 새로운 기능을 추가하고, 불필요한 부분을 삭제하며 진화합니다.

특히 새로운 모델이 출시될 때마다 시스템 프롬프트의 상당 부분을 삭제하거나 변경하며, 사용되는 도구 세트와 도구 프롬프트도 상시적으로 수정됩니다. 이러한 변화는 각 모델이 고유한 특성을 가지고 있기 때문에 최적의 성능을 유지하기 위해 필수적인 과정입니다.

Opus 5 모델은 이전 모델보다 훨씬 높은 지능을 가지고 있습니다. 기존 시스템 프롬프트의 상당 부분은 모델이 당연히 알았어야 하지만 알지 못했던 행동들을 교정하기 위한 내용들이었습니다. 하지만 Opus 5는 이제 그러한 행동들을 스스로 수행합니다.

따라서 Opus 5에서는 이전 모델에서 필요했던 많은 지시가 불필요해졌습니다. 모델의 지능이 향상됨에 따라 시스템 프롬프트가 간소화되는 추세입니다.

일부 사용자들은 Opus 5를 사용하면서 성능이 저하되는 경험을 했습니다. 이로 인해 필요한 작업을 수행할 때 종종 이전 버전인 4.8로 돌아가 더 나은 결과를 얻는 경우가 있었습니다.

이러한 현상은 최신 모델임에도 불구하고 기존의 스킬과 프롬프트가 오히려 모델의 잠재력을 제한하여 성능을 떨어뜨릴 수 있음을 시사합니다.

AI 모델에 대한 접근 방식에서 불필요한 지시를 제거하는 것이 역설적으로 성능 향상에 기여할 수 있다는 주장이 제기되었습니다. 일반적으로는 모든 사람이 동일한 모델을 사용하면 비슷한 결과가 나올 것이라고 생각하지만, 특정 상황에서는 이와 다르게 작동합니다.

Boris는 자신의 스킬과 시스템 프롬프트를 제거하고 모델의 잠재력을 직접 확인해보라고 권장했습니다. 이는 모델에게 스스로 작업할 수 있는 자유를 주어 예상치 못한 더 나은 결과를 도출할 수 있다는 새로운 사고방식입니다.

이러한 접근 방식은 모델이 스스로 최적의 해결책을 찾도록 유도하며, 인간의 과도한 개입이 오히려 모델의 능력을 제한할 수 있다는 점을 시사합니다.

Anthropic 개발팀은 모델에 대한 과도한 구속을 해제하는 것을 'Unhobling the model'이라고 부릅니다. 이종범 교수는 이 개념을 이해한 후 자신의 AI 레포지토리를 복제하여 Claude MD와 모든 스킬을 제거하고 작업을 시작했습니다.

실제로 스킬을 제거하자 모델이 더욱 자유롭게 작동하며 더 나은 결과를 생성하는 것을 확인했습니다. 이는 모델에 더 많은 자율성을 부여하는 것이 성능 향상에 긍정적인 영향을 미친다는 점을 뒷받침합니다.

실제 작업 환경에서는 Claude의 기존 스킬들이 덜 중요해지거나 변경되어야 할 수도 있습니다. 모델의 능력이 향상되면서, 사용자가 제공하는 스킬이 오히려 모델의 자율적인 판단을 방해할 가능성이 있기 때문입니다.

따라서 사용자는 자신의 스킬이 모델의 작업 흐름에서 약간 비켜서서 모델이 스스로 더 나은 결정을 내리도록 허용해야 할 수 있습니다.

스킬이나 추가 컨텍스트 없이 새로 시작한 세션에서 거의 동일한 프롬프트로 리소스 가이드를 생성했습니다. 그 결과물은 시각적으로는 깔끔하지 않았습니다. 형식도 제대로 갖춰지지 않았고, 헤더도 없는 등 다소 지저분한 형태였습니다.

하지만 내용 구성 측면에서는 더 나은 결과물이었습니다. 모델에게 '리소스 가이드를 이렇게 만들어라, 이렇게 나눠라'와 같이 구체적으로 지시하지 않았기 때문에, 아이디어가 잘 분류되고 각 아이디어에 타임스탬프가 포함되는 등 콘텐츠의 질이 향상되었습니다. 스킬이 없는 버전의 콘텐츠가 더 우수하다는 평가를 받았습니다.

리소스 가이드의 콘텐츠 생성은 모델이 자유롭게 수행하도록 하고, 스타일이나 특정 형식만 스킬로 지정하는 방식이 제안되었습니다. 예를 들어, '리소스 가이드는 모델이 적절하다고 생각하는 대로 만들되, 이 이미지를 헤더에 넣고, 내 유튜브 채널을 상단에 링크하고, AIS Plus를 하단에 링크하라'고 지시하는 것입니다.

모든 스킬을 삭제하기보다는, 스킬의 내용에 대해 깊이 고민하고 너무 구체적이지 않게 만드는 것이 중요합니다. 이는 모델의 창의성과 자율성을 존중하면서도 사용자가 원하는 기본적인 틀을 유지하는 방법입니다.

Boris Cherney나 다른 유튜버, 혹은 커뮤니티에서 얻은 AI 활용 조언을 자신의 작업에 무분별하게 일괄적으로 적용해서는 안 됩니다. 이러한 조언은 특정 관점과 작업 환경에서 비롯된 것이기 때문에, 모든 상황에 적용될 수 없습니다.

Boris나 Andre Carpathy와 같은 전문가들의 조언은 대규모 코드 베이스에서 작업하고 모델을 훈련하는 사람들의 경험을 기반으로 합니다. 이종범 교수는 자신이 그런 작업을 하지 않으며, 청중 또한 그런 업무를 하는지 알 수 없다고 언급했습니다.

따라서 AI 시스템을 사용하려는 자신의 방식과 동일하게 사용하는 사람들로부터 조언을 구하고, 자신의 업무 맥락에 맞춰 조언을 필터링하고 적용해야 합니다.

제품 및 소프트웨어 개발자들은 스킬을 활용하여 AI 시스템을 구축하고 조율하는 경우가 많습니다. 이러한 상황에서는 모델과 하네스가 더욱 효율적으로 작동하게 되었으므로, 기존의 스킬들을 완전히 삭제하는 것이 유용할 수 있습니다.

반면, 이종범 교수의 데모에서 보았듯이, '이 이미지를 가져와서 여기에 놓고, 우리 브랜드 가이드라인에 따라 이 색 구성표를 사용하라'와 같이 특정 스타일이나 브랜드 가이드라인을 적용하는 스킬은 여전히 필요할 수 있습니다. 각자의 작업 방식과 목표에 따라 스킬의 필요성이 달라진다는 설명입니다.

Boris Cherney는 'hobbling'이라는 용어가 연구에서 모델이 특정 작업을 수행하고 있는데, 인간의 개입이나 지시가 오히려 그 모델의 작동을 방해하는 경우를 의미한다고 설명했습니다.

이는 모델에 대한 과도한 통제가 모델의 잠재력을 제한하고, 최적의 성능을 발휘하지 못하게 만든다는 점을 강조하는 개념입니다.

많은 사람들이 Claude나 Claude Code와 같은 AI 모델을 사용할 때 너무 구체적인 지시를 내리는 실수를 저지릅니다. 예를 들어, '이것을 이렇게 하라', '1단계, 2단계, 3단계, 4단계로 하라'는 식의 접근 방식입니다.

그러나 최신 모델에서는 이러한 방식이 오히려 좋지 않은 결과를 초래합니다. 모델의 지능이 향상되면서, 너무 세부적인 지시는 모델의 자율적인 판단과 창의성을 방해할 수 있기 때문입니다.

AI 모델을 활용하는 새로운 접근 방식은 보다 높은 수준에서 작업하는 것입니다. 모델에게 작업 내용(목표), 가드레일(제한 사항), 그리고 종료 기준만을 설명한 다음, 모델이 스스로 작업을 수행하도록 맡기는 것입니다.

이러한 방식은 불과 6개월 전에는 통하지 않았지만, 현재의 모델 성능으로는 놀라운 결과를 가져올 수 있습니다. 모델에게 자율성을 부여하여 스스로 최적의 해결책을 찾도록 유도하는 것이 중요합니다.

Claude에게 무언가를 시켰을 때 결과물이 만족스럽지 않아 좌절하는 경우가 많지만, 이는 '좋은 결과가 무엇인지'를 명확히 알려주지 못했기 때문일 수 있습니다. 모델이 좋은 결과가 무엇인지 모른다면 좋은 결과물을 만들 수 없습니다.

따라서 높은 수준의 목표를 제시하고, '이 기준에 도달할 때까지 멈추지 마라'고 명확하게 지시해야 합니다. 더 나아가, 모델이 자신의 작업물을 검증할 수 있는 방법까지 제시하여 결과물의 품질을 높일 수 있습니다.

SL(Service Level) 목표 프롬프트의 끝에는 '나는 프로토타입이나 개념 증명을 찾는 것이 아니다. 나는 10번 테스트하고 반복하여 완전히 품질 검사를 마쳤으며 내일 시장에 출시할 준비가 된 것을 원한다'는 내용을 추가할 수 있습니다.

이처럼 감정을 조금 더 담아 프롬프트를 작성하면 모델이 더 효과적으로 목표를 달성하는 경향이 있습니다. 이는 모델에게 단순히 작업을 지시하는 것을 넘어, 최종 결과물의 기대치를 명확히 전달하는 방법입니다.

Boris Cherny는 오늘날의 기술이 단순히 프롬프트 엔지니어링에 집중하기보다는, Claude에게 다소 어려워 보이는 작업을 맡기고, Claude가 그 과정에서 자신의 작업을 스스로 검증할 수 있도록 만드는 것에 가깝다고 생각합니다.

그는 AI가 스스로 검증하는 능력을 부여하는 것이 사람들이 대체로 제대로 하지 못하는 가장 중요한 부분이라고 강조합니다. 이는 모델의 자율성을 극대화하고, 최종 결과물의 신뢰성을 높이는 핵심 요소입니다.

좋은 관리자는 직원들을 마이크로매니징 하지 않습니다. 그들은 직원들이 스스로 일할 수 있도록 길을 열어주고, 판단력과 안목을 가지고 있지만, 직원들이 자신의 두뇌를 사용하도록 내버려 둡니다. 이는 그들을 고용한 이유가 있기 때문입니다.

마찬가지로, AI 에이전트를 활용할 때도 생각하는 과정을 아웃소싱해야 합니다. 에이전트가 스스로 생각하고 아이디어를 내도록 해야 합니다. 하지만 동시에 다른 에이전트들이 반대 의견을 제시하게 할 능력, 그리고 자신의 작업을 확인하고 검증할 능력을 주어야 합니다. 이는 AI 시스템의 자율성과 신뢰성을 높이는 중요한 방법입니다.

AI를 활용하여 생각의 일부를 아웃소싱할 수는 있지만, 궁극적인 이해와 비전 자체를 아웃소싱해서는 안 됩니다. 사용자는 여전히 이러한 AI 에이전트들의 창립자이자 비전을 이끄는 사람으로서 최종적인 방향을 설정해야 합니다. AI 에이전트는 사용자를 많이 도울 수 있지만, 최종적인 결정과 큰 그림은 인간의 몫이라는 점을 명확히 합니다.