LLM으로 흩어진 생각을 정리하고 검색 가능한 지식 베이스 구축

LLM 지식 베이스는 사용자가 정리되지 않은 생각과 메모를 체계적으로 조직하고 검색할 수 있도록 돕는 도구입니다. 이 시스템은 사용자와 LLM 간의 상호작용을 통해 생성된 모든 데이터를 통합하여, 사용자가 정보를 쉽게 탐색하고 이해하며 심지어 잊었던 아이디어까지도 기억하고 발견할 수 있게 합니다.

발표자는 이러한 지식 베이스가 정보를 의미 있고 유용하게 만드는 데 핵심적인 역할을 한다고 강조했습니다.

생각을 정리하는 과정은 총 4단계로 구성됩니다. 첫 번째 단계는 모든 생각의 원시 폴더로 시작하는 것입니다. 다음으로, 이 원시 상태의 생각들을 좀 더 조직화되고 상호 연결된 형태로 전환하는 방법을 다룹니다.

세 번째 단계에서는 위키 개념을 도입하고, 마지막 단계에서는 그래프 뷰와 같은 시각화 도구를 활용하여 전체 지식 체계를 한눈에 파악할 수 있도록 합니다.

애플 노트를 사용하는 것처럼 쉽게 생각을 기록할 수 있지만, 음성 받아쓰기는 그보다 훨씬 더 빠르고 효율적인 방법입니다. 발표자는 음성 받아쓰기가 생각을 종이에 옮기는 가장 빠른 방법이며, 평균 분당 200단어를 기록할 수 있다고 밝혔습니다. 이는 다른 어떤 기록 방식보다도 빠릅니다.

키보드 타이핑에 비해 음성 받아쓰기는 훨씬 더 빠르게 아이디어를 포착할 수 있어, 순간적으로 떠오르는 생각을 놓치지 않고 기록하는 데 매우 유용합니다. 이를 통해 아이디어의 유실을 최소화하고, 초기 단계의 모든 생각을 빠짐없이 저장할 수 있습니다.

따라서 생각을 기록하는 가장 효과적인 방법으로 음성 받아쓰기가 강조되며, 이는 지식 베이스 구축의 첫 단추 역할을 합니다.

음성 메모 앱인 Voice Inc.는 핫키와 모바일 앱을 통해 편리하게 음성을 기록할 수 있는 기능을 제공합니다. 사용자는 컴퓨터에서 옵션(option) 키나 기능(function) 키를 누르고 있는 것만으로도 말하는 모든 내용을 기록할 수 있습니다.

이 앱은 사용자의 음성을 문장, 단락 등으로 구성된 형식화된 텍스트로 변환하여 저장합니다. 이는 생각을 즉시 기록하고 정리하는 데 매우 효과적인 방법으로 제시됩니다.

LLM을 활용하여 위키나 시각화 자료를 생성하려면 많은 양의 원시 데이터가 필수적입니다. 데이터가 부족하면 LLM이 충분한 정보를 바탕으로 유의미한 결과물을 만들어내기 어렵기 때문입니다.

따라서 처음에는 메모가 다소 불완전하거나 정리되지 않은 상태여도 괜찮습니다. 목표는 가능한 한 많은 생각을 그때그때 기록하여 충분한 원자재를 확보하는 것입니다.

많은 양의 원시 데이터를 확보했다면, 다음 단계는 이 날것의 자료들을 보다 유용하고 체계적인 정보로 전환하는 것입니다. 이 과정은 LLM 에이전트의 도움을 받아 진행됩니다.

에이전트는 원시 노트를 분석하고, 필요한 정보를 추가하며, 노트를 상호 연결하는 방식으로 자료의 가치를 높입니다.

에이전트에게 노트 보강 작업을 지시하는 구체적인 방법이 소개되었습니다. 에이전트는 노트 파일을 가져와 유용하게 만들도록 지시받는데, 이 과정에서 타임스탬프를 추가하여 이전에 다른 에이전트가 처리했는지 여부를 기록합니다. 또한, 에이전트는 태그를 생성하도록 지시받으며, 이때는 미리 정해진 참조 폴더의 태그 목록을 활용하여 새로운 태그를 임의로 만들지 않도록 합니다. Claude와 같은 LLM은 창의적인 태그를 생성하려는 경향이 있으므로, 에이전트에게 새로운 태그 추가에 신중할 것을 지시합니다. 만약 새로운 패턴이 발견되어 태그를 추가해야 할 경우, 기존 목록에 추가할 수 있도록 합니다. 마지막으로, 웹 도구를 사용하여 자료의 출처를 조사하도록 지시합니다.

모든 에이전트는 웹 검색 기능을 기본적으로 탑재하고 있으며, Exa와 같은 웹 도구를 활용하여 자료의 출처를 찾을 수 있습니다. 이는 에이전트가 정보를 보강하는 과정에서 필요한 추가 데이터를 확보하는 데 중요한 역할을 합니다.

또한, 에이전트는 관련 노트를 찾아 백링크를 생성하고, 파일 호출 및 키워드 검색을 통해 연관된 노트를 식별하여 현재 노트 하단에 추가합니다. 이 과정을 통해 노트들이 상호 연결된 웹을 형성하게 됩니다.

자동화된 시스템은 과거에 보강되지 않은 노트를 찾아내어 정리하고 조직화합니다. 각 노트가 보강될 때마다 타임스탬프가 추가되므로, 에이전트는 태그가 없는 노트를 식별하여 전체 처리 과정을 실행합니다.

이 과정은 모든 관련 노트에 걸쳐 적용되며, 파일 내용을 수정하여 이전에 비해 더 잘 조직화된 노트를 생성합니다. 이 모든 과정은 매우 쉽게 수행될 수 있도록 설계되었습니다.

개인 메모를 보다 탐색하기 쉬운 형태로 만들기 위해 LLM에게 위키 생성을 지시할 수 있습니다. 이는 원시 재료를 한데 모아 더 견고한 형태로 '요리'하는 것과 유사합니다. 발표자는 자신이 관심 있는 주제들을 중심으로 위키를 생성했다고 언급했습니다.

예시로 AI 최신 뉴스 위키를 들며, 팟캐스트를 듣거나 연구 문서를 읽을 때마다 최신 모델에 대한 정보를 위키에 축적하여 체계적인 지식 기반을 구축한다고 설명했습니다.

LLM이 생성한 위키는 인물, 장소, 사물들을 그룹화하여 정보를 조직합니다. 이 위키를 통해 모든 출처와 가장 관심 있는 주제들을 한눈에 파악할 수 있으며, 예상치 못한 개념, 인물, 조직 등의 정보도 포함됩니다.

이 모든 구성 요소는 프로그래밍 방식으로 자동으로 생성되어, 사용자가 직접 수작업으로 분류할 필요 없이 체계적인 지식 구조를 제공합니다.

LLM 지식 베이스 아이디어의 원천은 Andre Karpathy의 Gist에서 시작되었습니다. 그의 Gist는 에이전트가 이러한 시스템을 생성하도록 하는 데 영감을 주었습니다.

사용자들은 그의 이름과 'wiki'를 검색하여 해당 Gist를 쉽게 찾아볼 수 있으며, 이를 통해 LLM 지식 베이스 구축에 대한 깊이 있는 이해를 얻을 수 있습니다.

위키 생성 기술은 다양한 주제에 적용될 수 있습니다. 예를 들어, 'Bible in a Year' 팟캐스트를 들으며 연구하고 싶었던 종교 텍스트 관련 주제에도 적용 가능합니다. 모든 등장인물을 참고 자료와 함께 정리하여 누가 무엇을 했는지 아는 것은 매우 유용합니다.

이 기술은 업무 환경에서도 활용도가 높습니다. 많은 회의록을 작성하고 만난 사람들의 섹션을 만들거나, 고객 성공팀의 경우 관심 있는 고객들을 모두 생성하여 관리할 수 있습니다.

위키를 생성하는 주요 목표는 매일 작성하는 모든 메모를 이해하기 쉽고, 더 탐색 가능하며, 가독성이 높은 형태로 변환하는 것입니다. 이는 단순히 정보를 저장하는 것을 넘어, 저장된 정보를 효과적으로 활용할 수 있도록 돕습니다.

정리되지 않은 수많은 메모 속에서 핵심 정보를 빠르게 찾아내고, 관련된 지식 간의 연결성을 파악하는 것이 위키의 궁극적인 목적입니다.

이 자동화 시스템은 마크다운 폴더를 클라우드 샌드박스에 동기화하는 방식으로 작동합니다. 클라우드 샌드박스는 Docker 기반으로 구동되며, 이곳에서 에이전트가 지정된 작업을 실행합니다.

작업이 완료되면, 에이전트가 수정한 내용이 다시 마크다운 폴더로 동기화됩니다. 발표자는 이 설정을 위해 Obsidian 헤드리스 CLI를 사용했다고 언급하며, Obsidian이 컴퓨터의 마크다운을 다른 곳에 동기화하고 다시 가져오는 데 효과적인 도구라고 설명했습니다.

발표자는 Obsidian CLI를 활용하여 노트를 클라우드 샌드박스와 자동 동기화하는 방식을 선호한다고 밝혔습니다. 이는 사용자가 수동으로 노트를 푸시하거나 풀할 필요 없이 백그라운드에서 동기화가 이루어지기 때문입니다.

Obsidian CLI를 사용하면 노트가 자동으로 업데이트되고 최신 상태를 유지하여, 사용자가 항상 최신 정보에 접근할 수 있도록 돕습니다.

CloudRunner를 사용하면 위키를 매일 자동으로 업데이트하고 동기화할 수 있습니다. 이 클라우드 샌드박스는 매일 설정되어 에이전트에게 작업을 수행하도록 지시합니다.

에이전트는 Obsidian CLI를 사용하여 위키를 가져와 업데이트하고 다시 동기화합니다. 이 과정 덕분에 사용자는 아침에 컴퓨터를 켰을 때 완벽하게 업데이트된 위키를 바로 확인할 수 있습니다. 발표자는 이를 마치 자신만의 일간 신문을 받아보는 것과 같다고 비유했습니다.

발표자는 사용자가 잠자는 동안 클라우드에서 노트가 자동으로 통합되고 정리되는 과정을 시연했습니다. 이 시스템은 하루 종일 작성된 모든 노트를 자동으로 살펴보고, 이를 쉽게 탐색할 수 있는 형태로 서로 연결합니다.

이러한 자동화된 과정은 사용자가 수고를 들이지 않고도 모든 노트가 체계적으로 정리되고 통합되도록 합니다. 결과적으로 매우 깔끔하고 사용하기 쉬운 지식 베이스가 구축됩니다.

에이전트가 생성한 그래프 뷰는 지식의 연결성을 시각적으로 보여주는 강력한 도구입니다. 발표자는 특정 도구를 설치하는 대신 에이전트에게 그래프 생성을 지시했다고 언급했습니다. 그래프를 통해 그는 자신이 산만한 생각을 가지고 있음을 확인했으며, 몇 권의 책을 더 읽어야 할 필요성도 인지했습니다.

그래프는 스타트업 창업, AI와 엔지니어링, 신앙과 성경 ('1년 안에 성경 읽기' 활동과 연관) 등 다양한 관심사가 그룹화되어 있음을 보여줍니다. 이를 통해 사용자는 자신의 지식 구조를 한눈에 파악하고, 특정 분야에서 부족한 부분을 식별하여 보완할 수 있습니다.

그래프는 번다운 차트와 연결하여 습관 추적기로도 활용될 수 있습니다. 특정 주제에 대해 얼마나 자주 노트를 작성하는지 추적하는 습관 추적기를 만들 수 있으며, 이는 GitHub 차트와 유사한 방식으로 작동합니다.

발표자는 자신이 아주 꾸준한 습관을 가지고 있지는 않지만, 이러한 그래프를 통해 습관이 구축되고 있음을 추적하고 확인할 수 있다고 설명했습니다.