RAG에 고정된 청크 크기 사용 중지

AI21 Labs는 QMSum, NarrativeQA, Seinfeld와 같은 데이터 세트를 사용하여 다양한 청크 크기의 효과를 테스트하는 실험을 수행했습니다. 각 데이터 세트는 6번 복제되었으며, 각 복제에는 200에서 1,000 토큰 범위의 고정 청크 크기가 할당되었습니다. 이 방법론을 통해 쿼리의 특성이 검색을 위한 최적의 청크 크기를 어떻게 결정하는지에 대한 체계적인 분석이 가능했습니다.

100토큰과 같은 작은 청크 크기는 특정하고 한정적인 질문에 더 효과적인 반면, 캐릭터 설명과 같이 광범위하거나 확산적인 질문은 더 큰 컨텍스트를 필요로 합니다. 이 현상은 Seinfeld 데이터 세트를 사용하여 명확하게 시연되었으며, 다른 쿼리 유형은 청크 크기에 따라 다양한 결과를 나타냈습니다.

검색 성능의 상한선을 이해하기 위해 AI21 Labs는 각 개별 쿼리에 대해 최상의 청크 크기를 선택할 수 있는 '오라클'을 시뮬레이션했습니다. 이 '오라클 실험'은 검색의 벤치마크를 설정하여 K에서의 재현율을 고정 크기 청크와 비교했습니다. 결과는 고정 크기 방법과 이상적인 적응형 시스템 간에 20%에서 40% 범위의 상당한 성능 잠재적 격차를 나타냈습니다.

여러 데이터 세트에 대한 분석 결과, 단일 고정 청크 크기가 검색 성능을 지속적으로 지배하지 않는 것으로 나타났습니다. 다양한 고정 크기의 성능 라인이 데이터 세트 전반에서 교차하는 것이 이 점을 보여줍니다. 이 발견은 고정 청크 크기의 임의적인 선택이 검색 결과에 상당한 영향을 미치며, 보다 적응적인 전략의 필요성을 강조합니다.

청크 크기가 결정되는 인덱싱은 미래 쿼리에 대한 지식 없이 발생합니다. 반대로 검색 중에는 쿼리가 알려져 있지만 청크 크기를 조정할 수 있는 기능은 상실됩니다. 이러한 단절은 쿼리 특성을 기반으로 검색을 최적화할 수 있는 적응형 청크 전략의 구현을 방해합니다.

이 접근 방식은 단일 청크 크기 대신 여러 청크 크기를 사용하는 것을 포함합니다. 본질적으로 여러 창 크기를 사용하여 데이터 세트를 복제하고 청크화하며, 검색 시 여러 데이터베이스를 쿼리해야 합니다. 이 방법은 고정 청크의 잠재 공간을 풍부하게 하는 데 중점을 둔 이전 연구와 대조됩니다.

다중 스케일 인덱싱의 중요한 장애물은 단일 랭킹 시스템 내에서 다른 크기의 청크 간의 본질적인 비교 불가능성입니다. 발표자는 임의적인 크기의 청크를 기반으로 하는 'n'개의 랭킹을 갖는 것이 문서 관련성을 정확하게 포착하는 과정을 복잡하게 만든다고 강조했습니다. 이를 해결하기 위해 다양한 문서 표현 문제를 해결하여 다양한 청크 스케일에서 효과적인 비교를 가능하게 하는 병합 알고리즘이 제안되었습니다.

특정 청크를 검색하는 대신 제안된 시스템은 청크가 식별될 때 전체 문서를 검색합니다. 이 패러다임 전환은 동일한 문서의 'n'개 랭킹을 생성하여 다양한 청크 스케일에서 직접 비교할 수 있도록 합니다. 컨텍스트 창을 활용함으로써 이 접근 방식은 더 포괄적인 정보를 제공하여 검색된 데이터의 전반적인 관련성을 향상시킵니다.

역순위 융합(RRF)은 다양한 청크 크기 전략에서 파생된 랭킹을 결합하는 데 사용됩니다. 이 방법은 검색을 단일 랭킹 프로세스보다는 투표 메커니즘으로 취급하여 다양한 관점을 효과적으로 집계합니다. RRF는 경량 스크립트로 작동하는 간단한 공식으로, 검색 프로세스에 최소한의 계산 오버헤드를 추가합니다.

성능 향상은 다양한 지표에서 10%에서 40% 범위였으며, 전통적인 고정 크기 청크 전략보다 지속적으로 우수했습니다. 더 녹색인 히트 맵과 같은 데이터 시각화는 다중 청크 접근 방식의 우수한 효과를 더욱 확인시켜 줍니다.

상당한 성능 향상을 제공하지만, 다중 스케일 인덱싱 접근 방식은 메모리 사용 측면에서 비용이 발생합니다. 데이터베이스의 여러 복사본을 메모리에 유지해야 하므로 메모리가 2배에서 5배 증가하는 것으로 추정됩니다. 그러나 검색 및 역순위 융합(RRF) 계산은 매우 효율적이므로 지연 시간은 최소화되며, 빠른 응답 시간을 유지합니다.

50, 100, 200 토큰과 같은 현재 청크 크기 선택은 대체로 임의적임을 인정했습니다. 향후 연구는 필요한 복사본 수를 최적화하고 보다 체계적인 방법을 통해 가장 효과적인 청크 크기를 결정하는 데 중점을 둘 것입니다. 팀은 또한 시스템의 아키텍처 진화를 더욱 개선하기 위해 표준 역순위 융합(RRF) 외의 대안도 모색하고 있습니다.

발표자는 AI의 발전에도 불구하고 에이전트가 효과적인 검색 시스템의 필요성을 없애지 않았다고 강조했습니다. 2022년 표준을 기반으로 하는 지배적인 검색 증강 생성(RAG) 인프라는 시대에 뒤떨어져 있습니다. 간단한 알고리즘 개선으로 정교한 AI 모델 없이도 20%에서 40%의 상당한 성능 향상을 얻을 수 있으며, 이는 RAG 인프라가 최적화를 위한 준비가 되어 있음을 나타냅니다.