AI 에이전트의 추천 강화를 위한 오픈 소스 문서 최적화

이 도구의 주요 목표는 웹사이트에서 에이전트 경험을 향상시켜 AI 에이전트가 문서를 효율적으로 구문 분석하고 활용할 수 있도록 하는 것입니다.

번스는 "기본적으로 .mdx 파일을 가져와서 Lead Type 생성을 실행하면 웹사이트에 최적화된 에이전트 경험을 위해 모든 것을 내보냅니다."라고 말했습니다.

번스는 언어 모델을 안내하는 문서 사이트 전용 사이트맵 역할을 하는 `LLM.txt` 파일의 중요성을 강조했습니다. 그는 이 파일을 수동으로 생성하는 것이 자동 생성보다 훨씬 우수하며, 이는 그들의 연구에 의해 뒷받침되는 발견이라고 강조했습니다.

그는 약 40줄의 고품질로 세심하게 작성된 `LLM.txt`가 자동으로 생성된 1,000줄의 노이즈 버전보다 훨씬 우수하다고 언급했습니다. 번스는 "우리의 연구에서 발견한 것은 이를 단순히 생성하지 않는 것이 훨씬 낫다는 것입니다. LLM.txt를 손으로 작성하는 것이 훨씬 낫습니다."라고 설명했습니다.

에이전트 상호 작용을 최적화하기 위한 핵심 권장 사항은 HTML에서 마크다운으로 전환하는 것입니다. HTML은 에이전트가 구문 분석하는 데 계산 비용이 많이 들며, 이는 더 높은 토큰 비용으로 이어집니다. 마크다운을 에이전트에 직접 전달함으로써 이러한 비용을 크게 줄일 수 있습니다.

번스는 "HTML은 비싸고, 마크다운을 에이전트에 바로 전달할 수 없는 이유는 무엇일까요?"라고 말했습니다. 구현은 표준 문서 페이지 URL에 `.md`를 추가하여 '트윈 MD' 파일을 생성하여 에이전트 친화적인 형식으로 접근 가능하게 만드는 것을 포함합니다.

헤더 신호를 구현하는 것은 에이전트 검색 가능성을 위한 또 다른 중요한 단계입니다. Vercel을 포함한 많은 선도적인 문서 웹사이트는 이러한 신호를 사용하여 에이전트에 콘텐츠의 대체 마크다운 버전에 대해 알립니다.

이러한 헤더 신호는 에이전트에 페이지의 더 효율적인 마크다운 버전을 사용할 수 있음을 알려줍니다. 번스는 "모든 최고의 문서 웹사이트를 보면... 모두 헤더에 이것을 가지고 있습니다. 이것은 에이전트가 웹사이트를 방문할 때마다 이 마크다운에 대한 대체 버전이 있다는 것을 알려줍니다."라고 설명했습니다. 그러나 이러한 헤더에 대한 에이전트 지원의 신뢰성은 현재 일관성이 없습니다.

AI 에이전트의 포괄적인 접근성을 보장하려면 여러 방법을 통해 문서를 사용할 수 있어야 합니다. 이는 다양한 에이전트 구성 및 기능을 충족시킵니다.

번스는 세 가지 주요 방법을 설명했습니다: 직접 `.md` 링크, 특정 헤더에 대한 에이전트의 수용을 기반으로 한 리디렉션, 헤더 태그를 수정하거나 해석할 수 없는 에이전트를 위한 URL 쿼리 매개변수(예: `mode=agent`). 번스는 "여러 방법을 통해 사용할 수 있도록 해야 합니다. 그래서 하나는 .md와 같고... 다른 하나는 일반적인... 링크를 가져와서 리디렉션을 추가하는 것이고... 세 번째는 모든 에이전트가 헤더 태그를 추가할 수 없다는 것입니다. 그래서 모드 에이전트와 같은 URL 쿼리도 있습니다."라고 말했습니다.

Lead Type은 이미 `Search docs`, `Get pages`, `Ask docs`의 세 가지 고유한 도구를 Web MCP에 노출하도록 설계되었습니다.

이 통합은 에이전트가 관련 질문을 구성하고 문서와 효과적으로 상호 작용하는 데 필요한 구조화된 컨텍스트를 제공합니다. 이러한 사전 예방적 접근 방식은 Web MCP가 더 널리 채택됨에 따라 Lead Type으로 최적화된 문서가 에이전트가 쉽게 액세스하고 이해할 수 있도록 보장합니다.

번스는 코딩 에이전트에 대한 "불편한 진실"을 밝혔습니다: 이들은 라이브러리를 다룰 때 웹사이트를 우회하고 대신 로컬 저장소 파일, 특히 `node_modules`를 방문합니다. 이는 현재 학습 데이터가 오래되었을 수 있기 때문에 에이전트가 최신 정보를 얻기 위해 컴파일된 소스 파일에 의존하도록 강요하기 때문입니다.

Vercel과 같은 회사의 선례를 따라, 이 전략은 마크다운 문서를 번들로 묶고 `node_modules` 디렉토리에 `agents.md` 파일로 배치하는 것을 포함합니다. 번스는 "불편한 진실은 라이브러리가 있다면 코딩 에이전트가 웹사이트를 방문하지 않는다는 것입니다. 이들은 실제로 Node 모듈을 방문합니다... 따라서 다시 Vercel과 같은 사람들이 하는 일을 따라... 번들로 묶인 마크다운 문서를 가져와서 `agents.md` 파일과 함께 Node 모듈에도 넣습니다."라고 설명했습니다.

이 접근 방식은 에이전트가 라이브러리와 관련된 문제를 해결하거나 질문에 답해야 할 때 프로세스를 크게 간소화합니다.

번스는 "문제가 있거나 질문이 있다면 모든 문서가 여기에 있습니다. 가져가세요."라고 말했습니다. 필요한 모든 문서가 `agents.md` 내에 통합되어 있으면 LLM은 정보에 직접 액세스할 수 있으므로 웹 검색의 필요성을 우회하여 상당한 토큰 절감 효과를 얻을 수 있습니다.

많은 모델에서 이 방법으로 거의 50%의 토큰 감소를 보였습니다.

번스는 "다양한 모델에서 웹을 검색하고 올바른 도구를 찾고 코드 베이스에서 마크다운 파일을 가져오는 대신 거의 50%의 토큰 절약을 볼 수 있습니다."라고 강조했습니다. 이 접근 방식은 빈번한 변경을 겪는 라이브러리에 특히 효과적이며, 에이전트가 항상 코드 베이스에서 직접 최신 문서에 액세스하도록 보장합니다.

이러한 기술은 에이전트에게 Node 모듈에서 정보를 찾도록 지시하는 것과 같은 특정 지침을 제공합니다.

번스는 "이것은 기술 없이도 작동하지만, 원한다면 기술을 추가하여 'Node 모듈을 보고 거기서부터 시작하라'고 말할 수 있습니다."라고 언급했습니다. 이러한 유연성은 Next.js를 포함한 다양한 프레임워크와의 호환성을 보장하고 개발자가 에이전트가 문서 번들과 상호 작용하는 방식을 미세 조정하여 내용을 확인할 수 있도록 합니다.

그는 Cloudflare를 평가 도구의 초기 제공업체로 언급하며, 이 분야에 대한 초기 단계이지만 증가하는 관심을 나타냈습니다.

그는 에이전트 준비성을 테스트하기 위한 새롭고 효과적인 도구로 Aura AI를 열정적으로 추천하며, "하지만 제가 가장 좋아하는 것은 Aura AI라는 것입니다. 이것은 완전히 새롭고 많은 것을 테스트합니다."라고 말했습니다. 이러한 도구의 등장은 에이전트 친화적인 문서 평가를 위한 표준화된 측정 기준의 필요성에 대한 인식이 커지고 있음을 시사합니다.

그는 자신의 경험을 솔직하게 공유하며, "완벽함이란 없습니다. 이 슬라이드를 만들기 시작했을 때, 모두가 제가 여기 전문가가 되기를 기대한다고 생각해서 너무 몰두했지만, 저는 여러분보다 이 문제에 대해 조금 더 해킹해왔을 뿐입니다."라고 말했습니다.

이러한 관점은 이 분야의 전문성이 일회성이고 완벽한 구현보다는 지속적인 실험과 시장 변화에 대한 적응에서 비롯된다는 점을 강조합니다.

번스는 모든 웹 페이지에 `.md` 파일을 제공할 것을 강력히 권장하며, 많은 콘텐츠 관리 시스템(CMS)이 본질적으로 이를 지원하도록 구축되지 않았음을 인정했습니다. 이 전략은 AI 에이전트가 사람보다 웹사이트를 더 자주 방문하는 경향에서 비롯되며, 에이전트 친화적인 형식이 검색 가능성에 매우 중요합니다.

그는 "모든 페이지에 점 md 파일을 제공하려고 노력하는 것입니다. 많은 CMS는 이런 식으로 구축되지 않았습니다."라고 말했습니다. 마크다운의 사전 예방적 문서는 더 높은 토큰 효율성을 가져오고 에이전트가 정보를 빠르고 비용 효율적으로 처리할 수 있도록 보장하여 콘텐츠의 전반적인 검색 가능성을 향상시킵니다.

LLM용 문서를 최적화하려는 새 웹사이트의 경우, 번스는 `llms.txt` 파일을 기본 단계로 시작할 것을 권장했습니다. 그는 "llms.txt가 첫 번째 외침이 될 것입니다."라고 말했습니다. 이 파일은 AI 에이전트를 위한 중요한 사이트맵 역할을 합니다.

CMS가 마크다운 파일 생성을 위한 기본 지원이 부족한 경우, 그는 수동으로 생성할 것을 제안했습니다. 또한, 모든 페이지에 대한 직접적인 `.md` 파일이 즉시 가능하지 않더라도 문서가 에이전트 친화적인 형식으로 제공되도록 즉석에서 창의적인 파일 생성을 장려했습니다.