AI 에이전트, 이제는 '간섭' 말고 '목표'만 주세요

최신 에이전틱 모델들은 과거의 상세한 프롬프트 작성법을 무효화합니다. 모델이 스스로 추론하고 계획을 세우는 능력이 뛰어나기 때문에, 세세한 지시나 예문 제공은 오히려 모델의 능력을 저하시킬 수 있습니다. 이제는 모델의 목표와 성공 기준을 정량화하여 명확하게 제시하는 것이 중요하며, '언제까지 추론을 해야 하는지'를 사용자가 정확히 알려주지 않으면 모델이 계속해서 불필요한 추론을 이어갈 수 있습니다. 따라서 모델의 추론 노력(Effort)을 제어하는 옵션을 적극적으로 활용해야 합니다.

과거에는 특정 대형 모델 하나에 의존하던 기업들이 많았지만, 이제는 업무의 성격에 따라 가장 적합한 모델을 선택하는 추세입니다. 예를 들어, 문서 분류나 요약과 같은 작업에는 GPT 계열 모델이, 창의적인 글쓰기나 스토리 생성에는 클로드(Claude)와 같은 모델이 더 선호되는 식으로 활용 방식이 나뉘고 있습니다. 이러한 변화는 각 모델이 가진 강점을 극대화하고 전반적인 업무 효율성을 높이는 데 기여하고 있습니다.

페이블 5와 같은 최신 AI 모델들은 사용자의 질문이 조금만 모호해도 불필요할 정도로 적극적으로 업무를 수행하는 경향이 있습니다. 이러한 과도한 적극성은 소위 '토큰 태우기'로 이어져 불필요한 비용 소모를 야기합니다. 예를 들어, 모호한 질문 하나에 필요 이상의 데이터를 탐색하고 다양한 가설을 검증하느라 엄청난 양의 토큰을 사용하는 경우가 빈번하게 발생합니다. 따라서 프롬프트 엔지니어링의 핵심 과제는 이러한 모델의 적극성을 적절히 제어하고, 불필요한 토큰 소모를 방지하기 위한 명확한 경계를 설정하는 것이 되었습니다. 모델이 스스로 판단하여 과도하게 나아가지 않도록 사용자 지시를 통해 제어하는 능력이 중요해진 것입니다.

지프 AI의 GLM 5.2 모델은 장시간 작업 수행 능력에서 두각을 나타내고 있습니다. 개발자 커뮤니티에서는 이 모델을 10일 이상 연속으로 돌려 장기 코딩 작업을 수행하는 사례가 보고될 정도로 뛰어난 장기 수행력을 자랑합니다. 이러한 특징 덕분에 GLM 5.2는 복잡하고 지속적인 코딩 프로젝트에 특히 유용하다는 평가를 받으며 개발자들 사이에서 높은 인기를 얻고 있습니다. 이는 특정 목적에 최적화된 전문 AI 모델의 등장을 보여주는 사례입니다.

최근 AI 모델 활용 트렌드 중 하나는 '토큰 맥싱'과 같이 토큰을 대량으로 사용하여 정교한 결과물을 얻어내는 방식입니다. 루나 맥싱, 키미 맥싱과 같은 표현이 유행하며, 이는 특정 모델들이 대량의 토큰을 할애하여 더욱 심층적인 추론을 수행할 수 있도록 설계되었음을 나타냅니다. 특히 미국 모델에 비해 많은 토큰을 사용하는 경향을 보이는 최신 모델들은 사용자에게 더 높은 품질의 결과물을 제공하기 위해 이러한 '맥싱' 접근법을 활용하고 있습니다. 이는 모델의 처리 능력과 사용자의 기대치가 함께 높아지면서 나타난 현상으로 볼 수 있습니다.

이는 모델의 학습 데이터에 중국어가 상당 부분 포함되어 있기 때문입니다. 이러한 문제를 해결하기 위해 사용자는 모델의 온도(Temperature) 설정값을 조정하거나, 출력에 대한 제약 조건을 추가하는 방식을 활용할 수 있습니다. 즉, 한국어 외의 언어 출력을 명시적으로 제한하는 프롬프트 설정을 통해 언어 혼입 현상을 줄이는 노력이 필요합니다.

최근 텍사스 주를 비롯한 여러 지역에서 AI 데이터 센터 건립에 대한 규제가 강화되는 움직임이 나타나고 있습니다. 이는 AI 모델 운영에 막대한 전력이 소모되는 문제를 해결하기 위한 조치로 풀이됩니다. 고성능 대형 모델을 운영하는 데 필요한 물리적 자원과 전력 공급의 한계가 명확해지면서, 최고 성능의 모델만을 고집하기 어려운 상황이 될 수 있습니다. 이에 따라 향후 AI 시장에서는 유사한 성능을 내면서도 전력 소모가 적고 가볍게 구동할 수 있는 경량화된 모델에 대한 수요가 증가할 것으로 전망됩니다. 이는 AI 기술 발전 방향에도 영향을 미 미칠 것으로 보입니다.

추론 모델은 이미 '제로 클릭'의 시대로 진입하여, 사용자가 의도만 명확히 전달하면 스스로 계획을 세우고 작업을 수행하는 능력을 갖추었기 때문입니다. 따라서 이제는 모델에게 상황적 맥락과 최종 목표를 명확하게 전달하는 것에 집중해야 합니다. 옛날 방식의 프롬프트는 효율성과 정확성 모두에서 뒤떨어질 수밖에 없으므로, 변화된 모델의 특성에 맞춰 프롬프트 작성 방식을 전환해야 합니다.

과거에는 AI 모델이 더 많이 생각하고 추론하며 상세하게 행동하도록 지시하는 것이 중요했지만, 이제는 이러한 방식이 바뀌었습니다. 최신 추론 모델에게는 짧고 간결한 지시보다는 명확한 목표와 현재 상황, 그리고 작업의 맥락을 정확하게 제시하는 것이 더 효율적입니다. 모델이 스스로 무엇을 시켜야 하는지 정확히 알게끔 이 정보를 제공하는 것이 핵심입니다. 불필요하게 세부적인 지시는 오히려 모델의 자율적인 추론 능력을 저하시킬 수 있습니다.

모델이 '나는 추론할 거야'라고 시작하면, 언제까지 이 추론을 수행해야 하는지를 사용자가 구체적으로 지정해 주어야 합니다. 그렇지 않으면 모델은 계속해서 작업을 이어나가며 불필요한 자원 소모를 발생시킬 수 있습니다. 따라서 모델의 효율적인 사용을 위해서는 작업의 최종 목표뿐만 아니라, 완료 시점이나 특정 기준 달성 시 종료되는 조건을 명시하는 것이 필수적입니다.

이 값은 단순히 사용되는 토큰의 양을 제한하는 것이 아니라, 모델이 특정 과제를 얼마나 깊이 있게 고민하고 추론할 것인지를 조절하는 값으로 이해해야 합니다. 예를 들어, 간단한 분류 작업이나 정보 추출과 같이 복잡하지 않은 과제에는 추론 강도를 낮게 설정하여 효율성을 높일 수 있습니다. 반면, 복잡한 문제 해결이나 장기적인 프로젝트 계획 수립과 같이 깊은 사고가 필요한 과제에는 추론 강도를 높게 설정하여 모델이 충분한 시간을 들여 최적의 결과를 도출하도록 유도할 수 있습니다. 이러한 조절은 모델의 자원 소모와 결과물의 품질 사이에서 균형을 찾는 데 중요합니다.

기존에는 AI가 내놓은 결과물을 다시 한번 검토해달라고 요청하는 경우가 많았지만, 최신 추론 모델들은 이미 내부적으로 여러 차례의 검토 과정을 거쳐 최종 결과물을 도출하기 때문에 이러한 재검토 요청은 비효율적입니다. 모델은 이미 최선을 다해 검토를 마친 상태이기 때문입니다. 대신, 모델이 특정 결과를 도출하게 된 과정이나 근거를 설명해달라고 요청하는 것이 더욱 중요합니다. 이를 통해 사용자는 모델의 추론 과정을 이해하고, 혹시 모를 오류를 발견하거나 결과의 신뢰성을 높이는 데 활용할 수 있습니다. 이는 모델의 활용 능력을 높이는 핵심적인 방법입니다.

이는 '예시 편향' 현상 때문인데, 모델이 제공된 예시에 갇혀 그 이상의 창의적이거나 자율적인 답변을 내놓지 못하고 예시의 범위 내에서만 머무르는 경향을 보입니다. 추론 모델의 가장 큰 장점 중 하나는 자율적으로 사고하고 다양한 가능성을 탐색하는 능력인데, 상세한 예시는 이러한 장점을 저해하게 됩니다. 따라서 모델이 광범위하게 추론하고 새로운 해결책을 찾도록 유도하려면, 불필요하게 구체적인 예시 제공을 피하는 것이 중요합니다.

100만 토큰과 같은 대용량 데이터를 AI 모델에 입력할 때는 자료와 지시문을 구조적으로 명확히 분리하는 것이 필수적입니다. 단순히 모든 내용을 한꺼번에 넣을 경우, 모델이 자료와 지시문을 혼동하여 중요한 지시문을 스킵하거나 제대로 인식하지 못하는 현상이 발생할 수 있습니다. 이를 방지하기 위해 '여기가 자료가 시작되어 여기서 끝나'와 같이 시작과 끝을 명확히 표시해 주어야 합니다. XML 태그나 기타 구분자를 활용하여 자료 구간과 지시문 구간을 시각적으로도 명확히 구분하고, 마지막 줄에 실제 수행해야 할 핵심 지시를 배치하는 것이 효과적인 방법입니다. 이렇게 구조화된 입력은 모델이 정보를 정확하게 이해하고 처리하는 데 도움을 줍니다.

최신 에이전틱 모델들은 장기적인 작업을 스스로 수행할 수 있지만, 이 과정에서 예측하지 못한 오류가 발생할 가능성도 있습니다. 따라서 과거의 상세한 지시문 중심의 프롬프트 방식 대신, '뭔가를 네가 만지기 전에 일단 네가 뭘 할 건지 계획부터 말하라'는 지시를 해야 합니다. 모델이 먼저 자신의 작업 계획을 사용자에게 보고하도록 한 뒤, 사용자가 그 계획을 검토하고 승인하는 방식으로 진행하는 것이 효율적입니다. 이러한 변화는 모델의 자율성을 존중하면서도 사용자가 최종적인 통제권을 유지하여 불필요한 오류나 자원 낭비를 방지할 수 있게 합니다.

AI 모델에 정보를 입력할 때 XML 태그와 같은 특정 구분자 사용에 강박을 가질 필요는 없습니다. 중요한 것은 어떤 기호든지 간에 정보와 지시를 모델이 명확하게 구분할 수 있도록 하는 것입니다. 한국어 표기나 다른 기호들을 활용하여 자료와 지시문, 또는 여러 섹션을 분리할 수 있습니다. 핵심은 모델이 정보를 혼동하지 않고 각 맥락을 정확하게 인지하도록 돕는 데 있습니다. 따라서 사용자는 자신이 가장 명확하다고 생각하는 방식으로 구분자를 활용하면 됩니다. 이러한 유연성은 프롬프트 작성의 편의성을 높이고, 모델과의 소통 효율성을 증진시킵니다.