LLM 벤치마크, 재현성 문제 직면

이러한 시스템은 테스트 중에 필요한 부하를 유지하는 데 자주 어려움을 겪어 처리량을 낮게 보고합니다. 또한 평가에 사용되는 데이터 세트 내의 내재된 무작위성은 종종 재현성 부족을 초래하여 다른 테스트 또는 환경에서 모델 성능을 일관되게 비교하기 어렵게 만듭니다. 이러한 문제는 데이터 세트 품질과 관련된 문제와 결합되어 신뢰할 수 있는 벤치마크 결과 생성을 더욱 복잡하게 만듭니다.

벤치마크 하네스가 필요한 부하를 유지하지 못하거나 데이터 세트의 무작위성으로 인해 일관된 결과를 재현하지 못하는 등 일반적인 실패로 인해 신뢰성 문제가 부각됩니다. 이러한 문제는 성능 지표의 유효성을 약화시킵니다. 데이터 세트 자체의 품질 또한 이러한 평가의 신뢰성에 기여합니다.

Python의 전역 인터프리터 잠금(GIL)은 다중 CPU 시스템에서도 단일 스레드 실행을 강제함으로써 벤치마크 성능을 크게 제한합니다. 이 제한은 단일 프로세스로 실행되는 벤치마크 하네스가 종종 목표 QPS(초당 쿼리 수)를 달성하지 못하게 하며, CPU 바운드 시 성능이 단일 CPU 코어 수준으로 제한되는 경우가 많습니다.

예를 들어, 소규모 하드웨어에서 200 QPS에 도달하려는 시도는 38 QPS에 불과했으며, 더 큰 시스템에서도 이러한 프로세스 제한으로 인해 170 QPS로 제한되었습니다. 이 문제는 많은 하네스가 사용자에게 실제로 달성된 처리량을 부정확하게 보고하여 GIL로 인한 성능 병목 현상의 실제 정도를 가리는 사실로 인해 더욱 심화됩니다.

벤치마크 클라이언트는 인지된 대기 시간을 인위적으로 증가시켜 서버 측 성능 문제에 대한 오해를 유발할 수 있습니다. 이는 스트리밍 토큰 요청을 수집하는 데 어려움으로 인해 하네스가 불안정해져 서버의 실제 응답 시간을 나타내지 않는 상당한 지연이 발생할 때 발생합니다.

예를 들어, 한 테스트에서는 최대 58초의 지연이 관찰되었으며, 사용자는 이를 벤치마크 클라이언트의 제한이 아닌 서버의 병목 현상으로 오해할 수 있습니다. 적절하게 확장된 하네스는 시뮬레이션된 서버가 최소한의 대기 시간을 나타냄을 보여주며, 이러한 증가된 지연이 종종 클라이언트 측 현상임을 강조합니다.

하나의 중요한 요소는 모델 온도를 임의로 0으로 설정하는 것인데, 이는 모델 출력을 실제 시나리오보다 더 결정론적으로 만들어 처리량을 인위적으로 증가시킬 수 있습니다. 이러한 조작은 더 높은 성능이라는 잘못된 인상을 만듭니다.

또한, 서로 다른 벤치마크 하네스는 동일한 데이터 세트를 샘플링하거나 자르는 데 다양한 방법을 사용하여 도구 간에 입력 토큰 수에 불일치를 초래합니다. 데이터 세트 처리와 관련된 이러한 투명성 부족은 사용자가 데이터가 어떻게 처리되고 있는지에 대한 통찰력을 얻지 못하게 하여 벤치마크 결과의 비교 가능성과 유효성을 더욱 손상시킵니다.

Kubernetes 워킹 그룹에서 시작하여 현재 CNCF 프로젝트인 InferenceLLM 프로젝트는 표준화된 부하 생성 및 향상된 측정 항목 충실도를 도입하여 LLM 벤치마킹의 중요한 단점을 해결합니다. 사용자 정의 선언적 구성을 지원하여 재현성을 크게 향상시키고 일관된 테스트 환경을 가능하게 합니다. 핵심 혁신은 다중 프로세스 사용을 통해 Python의 전역 인터프리터 잠금(GIL)의 한계를 효과적으로 우회하는 새로운 부하 생성기입니다. 이 다중 프로세스 접근 방식은 단일 스레드 성능 병목 현상에 의해 제한되지 않고 벤치마크가 실제 부하를 정확하게 시뮬레이션할 수 있도록 보장합니다.

이 강력한 부하 생성기는 클라이언트 및 서버 측정 항목을 모두 캡처하여 이전에 클라이언트 측 문제로 인해 가려졌던 성능에 대한 포괄적인 이해를 가능하게 함으로써 더 높은 충실도의 측정 항목 보고를 제공합니다. 이 프로젝트는 LLM을 평가하는 더 정확하고 신뢰할 수 있는 방법을 제공하여 보고된 처리량 및 대기 시간이 모델의 기능을 진정으로 반영하도록 하는 것을 목표로 합니다.

InferenceLLM은 클라이언트 및 서버 측정 항목을 통합하여 실제 서버 성능과 테스트 하네스로 인한 인위적인 증폭을 더 명확하게 구분하여 개발자가 더 많은 정보에 입각한 결정을 내릴 수 있도록 돕습니다.