LLM, 직접 일 안 하고 도구에 지시한다

거대 언어 모델(LLM)은 사용자의 명령을 받으면 단순히 답을 생성하는 것이 아니라, 먼저 검색하고 분석하는 단계를 거친다.

이 과정에서 LLM은 '스킬'이라고 불리는 업무 수행 지침이 담긴 마크다운(.md) 파일을 읽으며, 이를 통해 외부 도구를 호출하고 작업을 수행하는 방식을 배운다.

기존의 한글 문서(.hwp)는 다양한 편집 요소와 복잡한 구조 때문에 AI가 문단과 전체 구조를 인식하기 어렵다.

반면 마크다운(.md) 형식은 샵(#), 별표(*) 등 정해진 기호를 사용하여 제목, 단락, 리스트, 표를 명확하게 구분할 수 있어 AI가 효율적으로 문서를 이해하도록 돕는다.

에이전트는 LLM 단독으로 작동하는 것이 아니라, LLM이 외부 도구를 호출하고 그 도구들이 상호작용하며 특정 작업을 처리하는 일련의 과정 전체를 의미한다.

이는 퍼플렉시티와 같이 검색 정보를 기반으로 답변을 생성하는 구조에서 대표적으로 확인할 수 있으며, LLM이 질문을 받으면 직접 답하는 대신 검색 도구를 사용해 정보를 찾아내고 이를 종합하여 최종 답변을 제공한다.

에이전트를 효과적으로 구현하려면 어떤 도구들을 LLM에 연결할 것인지, 즉 오케스트레이션(orchestration) 전략을 수립하는 것이 매우 중요하다고 강조된다.

브라우저의 마크다운 뷰어에 오류가 발생하면, 평소 AI가 문장 구조를 파악하기 위해 사용하는 별표(*)나 # 같은 기호가 그대로 노출된다.

웹 브라우저에서 마크다운 뷰어에 오류가 발생할 경우, 이러한 원문 기호가 그대로 노출되는 현상을 볼 수 있으며, AI는 이 기호들을 분석하여 단락과 문장 구조를 명확히 파악한다.

LLM은 단순히 사용자 질문만 읽는 것이 아니라, 별도로 숨겨진 '스킬' 문서를 함께 참조한다.

이 스킬 문서에는 파이썬 코드를 사용하여 한글 파일을 만드는 구체적인 가이드라인이 포함되어 있다.

LLM은 이러한 지침을 읽고 스스로 파이썬 코드를 작성하며, 이 코드가 실행되면 최종 결과물인 한글 파일이 생성된다.

LLM은 스스로 파일을 생성하는 대신, 서치 툴에 검색을 지시하고 그 결과를 받아 분석한다.

한글 파일과 같은 특정 결과물을 만들 때 LLM은 '스킬' 문서에 정의된 작성 지침을 읽어 파이썬 코드를 생성하며, 이 코드를 파이썬이 실행하여 실제 한글 파일을 저장한다.

결론적으로 LLM은 필요한 도구와 스킬을 호출하고 명령을 내리는 역할을 하며, 생성된 결과를 사용자에게 전달하여 답변의 질을 높인다.

스킬은 LLM이 사용자의 특정 작업을 수행할 때 참고하는 사용자 정의 지침서로, 사용자가 원하는 결과물 양식이나 업무 절차를 미리 정의해 둘 수 있다.

사용자는 행정안전부 표준 양식과 같은 특정 업무 템플릿을 스킬 문서에 저장할 수 있으며, AI에게 '내 스킬'을 읽고 해당 가이드라인에 따라 문서를 작성하도록 명령하여 일관된 결과물을 얻을 수 있다.

유튜브 등에서 자주 다루는 루프 엔지니어링의 본질은 내부 데이터나 외부 검색 결과를 결합해 최종 결과물을 도출하는 LLM과 컴퓨터 간의 상호작용이다.

이러한 루프는 유튜브 등에서 언급되는 '루프 엔지니어링'의 본질적인 의미를 담고 있으며, 에이전트가 내부 데이터를 활용하거나 외부 검색 결과를 결합하여 최종 결과물을 도출하는 데 필수적인 작동 방식이다.

기존 용역 사업 방식으로는 업무 자동화 구현에 2년 이상이 소요되지만, AI 환경은 급변하므로 새로운 접근 방식이 필요하다.

기관 내부에 있는 문서를 데이터로 활용하고, 소형 언어 모델(SLM)과 파이썬을 연동하여 업무 자동화를 구현하는 것이 효율적이다.

기관 맞춤형 에이전트는 SLM이 기관 내부 문서를 탐색하고, 웹 서치 도구나 특정 API와 연동하여 외부 데이터를 결합하는 과정으로 작동한다.

검색 결과와 내부 문서를 파이썬으로 전달하면 HWP 파일이 생성되고 답변이 도출되며, 이는 단순한 질의응답을 넘어 도구 호출과 연쇄적 작업 수행이 에이전트의 핵심임을 보여준다.

기존의 용역 RFP(제안요청서) 발주와 비딩 방식은 계획부터 실행까지 2년 이상의 장기간이 소요되는 문제점을 안고 있다.

AI 기술이 급격히 발전하는 현재 상황에서 이러한 과거 방식에 머물러 있으면, 조직의 기술적 감각과 새로운 기술에 대한 대응력이 저하될 수밖에 없다.

기관은 내부 컴퓨터 환경뿐만 아니라, GPT, 클로드와 같은 성능 좋은 외부 거대 언어 모델(LLM)과의 연동성을 확보해야 한다.

LLM이 외부 도구를 오케스트레이션하며 작동하는 방식을 이해하는 것이 중요하며, 이는 단순한 암기를 넘어 시스템 설계 및 운영 원리를 습득하는 것으로 이어진다.