검색 문제를 해결하기 위한 미세 조정을 중단하세요

파일, 데이터베이스, API는 지식의 주요 저장소 역할을 하며, 아키텍트는 해당 데이터가 프롬프트나 컨텍스트에서 추론 계층에 도달하는 방법을 결정해야 합니다.

Anant Srivastava는 지식이 주로 파일, 데이터베이스, API와 같은 다양한 형태로 존재한다고 강조합니다. 검색, 메모리, 모델 적응은 각각 AI 아키텍처 내의 특정 기능에 적합한 별개의 도구입니다.

팀은 종종 AI 문제에 대한 해결책을 프롬프트 조정에서 검색 시스템으로, 그리고 결국에는 미세 조정으로 확대합니다.

Srivastava는 아키텍처 결정이 통합된 설계 전략보다는 수개월에 걸친 일상적인 제품 작업에서 비롯되는 경우가 많다고 지적합니다. 이는 의도적으로 설계된 아키텍처가 아닌 '축적된' 아키텍처로 이어집니다.

한 사례는 처음에 톤 조정을 위한 프롬프트 조정으로 구성된 내부 지원 도우미와 관련이 있었습니다.

시스템이 발전함에 따라 환불 정책을 위한 검색 시스템이 구현되었고, 제품 카탈로그는 프롬프트에 직접 삽입되었습니다. 모델은 나중에 오래된 지원 티켓을 사용하여 미세 조정되었습니다.

이 미세 조정으로 인해 제품 이름이 모델 가중치에 '유출'되었습니다. 그런 다음 시스템은 업데이트된 프롬프트 구성에도 불구하고 오래된 제품 정보를 인용하여 잘못된 출력을 생성했습니다.

Anant Srivastava는 프롬프트가 주로 에이전트의 행동, 톤, 페르소나를 정의해야 한다고 말합니다.

이러한 사용 사례는 작고 안정적이며 편집하기 쉽다는 특징이 있습니다. 제품 카탈로그와 같은 동적 사실을 저장하기 위해 프롬프트를 사용하면 토큰 비용이 증가하고, 모델이 광범위한 컨텍스트를 처리하는 데 어려움을 겪는 '가운데에서 길을 잃는' 현상이 발생합니다.

자주 변경되거나 프롬프트에 비해 너무 광범위한 정보는 메모리에 저장되어야 합니다.

운영 AI 시스템은 소스를 인용할 수 있는 능력이 필요하며, 이는 외부 메모리 사용을 의무화합니다. 에이전트 메모리는 사용자별 상호 작용을 관리하고, 외부 메모리는 환불 정책과 같은 더 넓은 데이터 세트를 처리합니다. 추론 작업은 모델의 고유한 능력에 의존하며, 제공된 컨텍스트의 양에만 의존하지 않습니다.

사용자별 정보와 같이 액세스 제어가 필요한 지식은 가시성을 제한하기 위해 메모리에 상주해야 합니다.

효과적인 RAG 시스템은 적절한 청킹, 메타데이터 관리 및 필터링 메커니즘에 의존합니다. 이는 모델이 관련 없는 정보 덩어리에 압도되는 'RAG 혼란' 상태를 방지하는 데 도움이 됩니다.

모델 미세 조정은 일시적인 사실이 아닌 '반사' 또는 행동을 학습하는 데 초점을 맞춰야 합니다. 전체 코드베이스를 프롬프트에 삽입하려는 시도는 동적 환경에서 비효율적이고 비효과적입니다.

데이터 변경 속도는 정보를 가중치에 포함할지 여부를 결정하는 주요 지표 역할을 합니다. 모델 가중치는 변경이 중단된 정보에만 사용하도록 의도되었기 때문입니다.

변경 속도는 데이터를 모델 가중치에 통합할지 여부를 결정하는 주요 요인입니다. 많은 팀은 검색 문제를 해결하기 위해 동적 문서나 런북에 모델을 미세 조정하는 실수를 저지릅니다.

이러한 관행은 지식 격차에 대한 미세 조정이 빠르게 쓸모없게 될 수 있는 데이터의 스냅샷을 단순히 포함시키기 때문에 모델이 오래된 정보를 제공하는 결과를 초래합니다.

Anant Srivastava는 모델이 올바른 답변을 제공하지 못하는 경우 초기에는 검색 문제 해결에 집중해야 한다고 조언합니다.

미세 조정은 모델 성능의 격차를 해결하기 위한 즉각적인 해결책이 되어서는 안 됩니다.

인간이 프런티어 모델의 권장 사항을 일관되게 수정할 때, 안정적인 패턴의 '중심'이 나타납니다. 미세 조정은 이 안정적인 핵심을 목표로 해야 하며, 패턴이 진화함에 따라 성능 저하를 방지하기 위해 드리프트에 대한 지속적인 모니터링이 필수적입니다.

Anant Srivastava는 의료 보험 청구 코딩(예: ICD-10 코드)과 같은 정적 지식은 모델 가중치가 아닌 메모리에 상주해야 한다고 주장합니다.

미세 조정은 모델에 입력 형식 이해 및 올바른 형식 선택과 같은 '반사'를 가르치는 데 집중해야 합니다. 모델은 변경될 가능성이 있거나 광범위한 훈련 데이터가 필요한 정보에 대해 미세 조정되어서는 안 됩니다.

미세 조정의 주요 이유는 모델 기능을 향상시키거나 더 작은 모델을 활용하여 비용을 최적화하는 것입니다.

시간이 지남에 따라 성공적인 검색 패턴은 미세 조정을 통해 메모리에서 모델 가중치로 이동될 수 있으며, 지속적인 컨텍스트 예시의 필요성을 줄일 수 있습니다.

예를 들어, 의료 기록과 같은 특정 형식에 대한 미세 조정은 처리를 간소화하고 효율성을 향상시킬 수 있습니다.

AI 모델 자체는 더 큰 시스템의 작은 부분에 불과합니다. Anant Srivastava는 AI 시스템의 성공이 모델을 중심으로 구축된 아키텍처에 크게 좌우된다고 강조합니다.

이 '하네스'는 정보를 효과적으로 저장, 검색 및 순환시키는 데 중요합니다. 잘 설계된 시스템은 에이전트가 작업 실행 및 학습의 반복적인 루프를 통해 성능을 지속적으로 향상시킬 수 있도록 합니다.