Laya 오픈소스, 로컬 맥북에서 99.7% 정답률 달성

48분간의 학습 결과, Laya 모델은 한국어 CS 시험의 정답률을 33%에서 86%까지 대폭 끌어올려 로컬 환경에서도 충분히 높은 성능을 낼 수 있음을 증명했다.

AI 서비스에서 라우팅은 간단한 요청에 고성능 모델을 사용함으로써 발생하는 불필요한 비용과 응답 지연을 방지하기 위해 필수적이다.

복잡한 요청에 저성능 모델을 적용하면 답변 품질이 저하될 우려가 있어, 요청의 복잡성에 따라 적절한 모델을 선택하는 것이 중요하다.

라우팅 시스템은 요청 유형별로 최적의 AI 모델이나 심지어는 사람에게 업무를 분담함으로써 비용을 절감하고 전반적인 서비스 효율성을 높인다.

100건 학습 시 4분 만에 68.8%의 정답률을 달성했으며, 300건 학습에는 15분이 소요되어 83.2%의 정답률을 기록했다.

최종적으로 1천 건을 학습하는 데 48분이 걸렸고, 정답률은 86.4%에 도달하여 데이터 양이 증가할수록 모델의 분류 정확도가 높아지는 경향을 보였다.

Laya 모델은 1천 건 학습 시 86.4%의 정답률을 기록했으나, Gemini(제브) 모델은 학습 없이 100%의 정답률을 보였다.

두 모델 간 초기 성능 차이는 존재하지만, Laya는 추가 학습 데이터 보강을 통해 Gemini와 같은 고성능 모델과의 간극을 충분히 좁힐 수 있음을 확인했다.

M4 Pro 24GB 맥북에서 7시간 52분 동안 1만 건의 데이터를 학습시킨 Laya 모델은 검증용 문제 600개 중 598개를 정확히 맞췄다.

이는 99.7%에 이르는 정답률로, 외부 호출 없이 로컬 환경에서 실행되는 모델이 고도로 정확한 분류 성능을 달성할 수 있음을 입증했다.

모델이 혼동하기 쉬운 반품 접수와 배송 문의, 상품 문의와 교환/반품 문의 같은 사례들을 분석하여 모델 고도화 전략을 수립했다.

구매 전 색상 문의와 이미 받은 제품의 색상 교환처럼 헷갈릴 만한 케이스들을 나란히 배치하여 모델이 분류 차이를 학습하도록 유도하면, 재학습을 통해 점진적으로 정답률을 극대화할 수 있다.

Gemini API는 요청부터 결과 수신까지 중앙값이 0.5초가 소요되었으나, 1천 건을 학습시킨 Laya 모델은 맥북에서 한 건을 분류하는 데 0.11초밖에 걸리지 않았다.

이처럼 네트워크 외부 호출이 없는 로컬 환경의 Laya 모델은 응답 시간이 훨씬 빨라, 특히 보안이 중요한 기업 내부 데이터 처리에 적합한 대안임을 보여주었다.