LLM, 1년 새 지시 이행 능력 10배 향상

Dexter Hoty의 발표에 따르면, AI 에이전트가 지시 사항을 잊기 시작하기 전까지 따를 수 있는 지시 사항은 약 200개 정도라고 Laurie Voss는 언급했다.

이는 에이전트가 처리 가능한 지시 사항의 대략적인 개수를 제시하며, 복잡한 태스크를 부여할 때 고려해야 할 중요한 한계로 제시됐다.

모델이 200개 지시 사항 이후부터 조용히 지시를 무시한다면, AI로 만들 수 있는 시스템의 복잡성에는 분명한 한계가 발생한다.

이는 AI 개발자가 작성할 수 있는 규칙의 개수를 제한하며, 대규모의 정교한 시스템 구현에 중요한 제약 조건으로 작용할 수 있다.

200개라는 숫자는 작년에 Jaroslaw Wich 등 공동 저자들이 발표한 'IFEval'이라는 벤치마크 논문에서 나왔다.

이 테스트는 보고서 작성 시 특정 단어 목록 포함 여부를 확인하는 방식으로 진행되며, 처리할 규칙의 개수를 '밀도(N)'로, 모델이 준수한 규칙의 비율을 '정확도'로 측정한다.

키워드 포함 테스트는 단순해 보이지만, '수익이라는 단어를 포함하라'는 지시는 '가격 책정에 관한 섹션을 포함하라'는 과제와 같은 형태의 작업이다.

단순한 키워드 추적 실패는 모델이 더 복잡한 지시 사항을 처리하는 데 실패할 가능성을 예측할 수 있는 대리 지표 역할을 한다.

200개라는 숫자는 모델이 도달할 수 있는 가장 높은 수준의 상한선을 의미하며, 실제 복잡한 지시에서는 이 숫자가 더 낮아질 수 있다.

Laurie Voss는 과학적 접근을 위해 기존 벤치마크를 재현하는 실험을 진행했다.

Laurie Voss가 테스트를 진행했을 당시, 원래 사용했던 10개의 모델 중 GPT-4.1, Claude Sonnet 4, Gemini 2.5 Pro 3개 모델만 API를 통해 사용할 수 있었다.

이는 모델의 잦은 등장과 퇴장으로 인해 데이터의 변동성이 크며, 연구 발표 후에도 일부 모델은 이미 서비스가 종료되었다는 점을 보여준다.

IFEval 벤치마크 결과를 재현한 데이터에 따르면, 세로축의 정확도는 100%에서 시작하여 규칙 수가 증가함에 따라 점차 하락한다. 가로축은 로그 스케일로 규칙의 수를 나타낸다.

규칙이 500개에 도달하면 모델의 성능은 30~50% 수준으로 저하되며, 1년 전 모델 기준 200~300개 규칙에서 이미 한계에 도달하는 모습을 보였다.

GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro, DeepSeek V4 Pro 등 최신 모델들은 동일한 프롬프트와 단어, 조건을 주었을 때 기존 500개 규칙 벤치마크를 완벽하게 통과했다.

이 모델들은 설정된 한계치를 인지하지 못하고 오류 없이 100점을 기록하며 모든 지시를 수행하는 능력을 보여주었다.

Laurie Voss는 규칙 수를 1,000개에서 10,000개까지 단계별로 확장하여 최신 모델의 성능을 테스트했다. 그 결과, 1년 전에는 200~300개의 지시 사항에서 무너졌던 모델들이 이제는 모델에 따라 2,000개에 가깝거나, 최고의 모델들은 5,000개의 지시 사항까지는 가야 성능이 떨어지기 시작한다.

이는 프론티어 모델의 지시 이행 능력이 1년 새 약 10배 이상 개선되었음을 의미하며, AI 기술의 빠른 발전을 보여준다.

이러한 발전은 AI 에이전트가 처리할 수 있는 복잡성의 수준을 크게 높여, 더욱 정교하고 다층적인 시스템 구축 가능성을 열어주고 있다.

프롬프트 길이 및 스킬 파일 작동 방식과 관련하여 6개월 이상 전에 세웠던 공학적 가정은 현재 틀렸을 가능성이 높다.

Laurie Voss는 이러한 급변하는 기술 환경에 맞춰 AI 개발자들이 작업 방식을 재설계해야 한다고 권고했다.

DeepSeek V4는 전통적인 모델로서 단순히 내용을 잊어버리는 방식으로 실패했다. 즉, 지시 사항이 많아질수록 정확도가 떨어지는 일반적인 성능 저하를 보였다.

반면 Claude Opus 4.7은 반복적으로 테스트가 위험하다고 판단하여 API 수준에서 테스트 완료를 거부하는 방식으로 실패했다. 이는 모델 내의 안전 필터가 작동하여 특정 결과 생성을 차단한 것이다.

이러한 현상은 테스트 데이터에 포함된 무작위 단어들이 모델의 안전 정책을 위반하는 것으로 오인될 수 있음을 보여주며, 모델의 안전 필터가 실제 유용한 작업을 방해할 수 있는 가능성을 시사한다.

크로매틱(Chromatic)이 18개 모델을 대상으로 수행한 '컨텍스트 가뭄' 연구 결과에 따르면, 모델의 정확도는 컨텍스트 창 제한에 도달하기 훨씬 전에 30~50%까지 떨어질 수 있다.

이는 잘 구성된 텍스트가 무작위 순서의 텍스트보다 모델의 실패 가능성을 높일 수 있음을 보여준다.

Claude 모델의 거절은 성가시지만, 최소한 오류 발생 시 실패했음을 명확히 알 수 있다.

반면 GPT 모델의 공손하지만 절반만 완성된 보고서는 진짜 답변처럼 보일 수 있어 훨씬 더 위험하다. 따라서 결과물의 신뢰성을 확보하기 위해 사후 검증이 필수적이다.

이번 연구에서 7개 모델에 걸쳐 2,300번의 호출을 실행하는 데 단 209달러가 소요되었다.

이는 새로운 AI 연구에 그리 많은 비용이 들지 않음을 시사하며, 조용한 실패를 방지하기 위한 평가(Evals) 도구의 필요성을 강조한다.

'지시 이행에서 언어 모델의 신뢰성 재검토'라는 논문은 46개 모델을 테스트하여 벤치마크 점수와 실제 신뢰성 사이에 불일치가 있음을 발견했다.

같은 지시라도 순서 배치에 따라 모델의 수행 능력이 급격히 하락할 수 있어, 벤치마크에서 우수한 성적을 거두더라도 실제 적용에서는 매우 신뢰할 수 없을 가능성을 보여준다.

1년 전만 해도 AI 기술 구현의 가장 어려운 점은 모델이 맥락을 잃지 않게 하면서 모든 정보를 담아내는 압축 문제였다. 하지만 이제 이 압축 문제는 상당 부분 해결되었다.

새로운 어려운 점은 모델이 실제로 지시한 대로 수행했는지 확인하는 검증 문제로 변화했다. 이는 평가(Eval)가 AI 개발 과정에서 테스트와 같은 필수적인 과정임을 강조한다.