리플레이 에이전트, 프론티어 모델 능가…현행 벤치마크의 ‘결정론적 취약점’ 드러나

Programmabs의 창립자 Pugadoro는 오늘 컴퓨터 사용 에이전시 평가에 대해 발표할 예정이라고 밝혔다. 그는 이 작업의 대부분과 세부 사항이 해당 제목의 논문에 담겨 있으며, Meta Superintelligent Labs에서 슬라이드에 보이는 공동 작업자들과 함께 진행되었다고 설명했다.

그는 발표를 통해 현재 AI 에이전트 평가 방식의 문제점을 짚고, 이를 해결하기 위한 새로운 접근 방식을 제시할 것임을 예고했다.

Pierluca D'Oro는 '리플레이 에이전트'라는 개념을 소개하며, 이는 벤치마크에서 프론티어 모델을 실행하고 각 작업에 대해 성공적인 궤적을 수집하는 방식으로 작동한다고 설명했다. 이렇게 수집된 동작 기록, 즉 탭, 타이핑, 스크롤과 같은 행동들을 기록한 후 벤치마크의 모든 작업에 대해 이 과정을 수행한다.

이러한 기록들을 리플레이 에이전트로 컴파일하여, 특정 작업이 주어지면 에이전트는 이전에 기록된 일련의 동작을 맹목적으로 재생한다.

수백 개의 작업이 있는 일반적인 벤치마크에 대해 리플레이 에이전트 작업을 수행하면 1메가바이트 미만의 스크립트가 생성된다. Pierluca D'Oro는 이러한 스크립트가 벤치마크에서 평가할 수 있는 '완전히 유효한 에이전트'라고 설명했다.

OSWorld나 MobileWord와 같은 표준 벤치마크에서 이러한 에이전트를 평가하면, 리플레이 에이전트의 성공률이 원래 에이전트가 추출된 프론티어 모델과 동일하거나 심지어 더 높게 나타난다. D'Oro는 이러한 맹목적인 스크립트가 프론티어 모델을 이기는 현상은 이상하지만 사소한 현상이 아니라, 받아들여서는 안 되는 문제라고 강조했다.

Pierluca D'Oro는 이러한 현상이 발생하는 비결 또는 주된 이유는 기존 벤치마크, 특히 대부분의 기존 벤치마크가 가진 '결정론' 때문이라고 지적했다. 벤치마크 환경이 정적이고 결정론적이라면, 이러한 종류의 전략에 의해 어떤 식으로든 게임화될 수 있다는 것이다.

이는 에이전트가 실제 문제 해결 능력을 갖추기보다는, 특정 환경에 최적화된 단순 반복 스크립트에 의해 고성능을 보일 수 있음을 의미한다.

Pierluca D'Oro는 Kua 벤치마크의 두 가지 특정 문제점이 일반적인 문제 유형을 지적한다고 언급했다. 첫째는 환경과 관련된 문제로, 환경 구축의 견고성 및 신뢰성 부족을 의미한다. 둘째는 평가와 관련된 문제로, 에이전트가 좋은지 아닌지를 판단할 수 있는 좋은 지표를 구축하는 데 어려움이 있다는 것이다.

그는 악용할 수 있는 구조가 없는 환경과 깨지기 쉬운 통계에 기반하지 않는 견고한 지표가 필요하다고 강조했다.

Pierluca D'Oro는 두 가지 측면 중 첫 번째로 '원칙적인 환경 구축'의 중요성을 역설했다. 그는 환경 작업을 하면서 가장 먼저 작업했던 측면이 환경을 구축할 때 견고하고 신뢰할 수 있는 환경을 구축하기 위한 일련의 지침 원칙을 설계하는 것이었다고 설명했다.

이는 AI 에이전트의 실제 성능을 공정하고 정확하게 평가하기 위해서는, 벤치마크 환경 자체가 예측 불가능하고 조작 불가능하도록 설계되어야 함을 의미한다.

Pierluca D'Oro는 이러한 환경 구축 원칙들을 종합하여 'PRISM 원칙'으로 정리했다고 밝혔다. 그는 이 원칙들을 사용하여 기존 벤치마크들이 모든 조건을 만족하지 못하는 한계를 극복하고자 했으며, 모든 PRISM 원칙을 만족하는 새로운 벤치마크를 구축했다고 설명했다.

이 새로운 벤치마크는 'DGWord'라고 명명되었으며, 기존 벤치마크들이 일부 측면에서는 우수했지만 통합적으로 모든 원칙을 충족하는 사례가 없었기에 개발되었다고 덧붙였다.

DGWord 벤치마크는 각 작업에 대해 인스턴스, 데이터 프로필, 테마, 시작 화면과 같은 다양한 요소를 변경할 수 있는 기능을 제공한다. Pierluca D'Oro는 이러한 변수들의 기본 케이스가 상대적으로 적음에도 불구하고, 계산해보면 수백만 심지어 수십억 개의 조합을 생성할 수 있다고 설명했다.

이러한 다양성은 벤치마크 환경의 결정론적 취약점을 극복하고, 에이전트가 실제 환경에서 마주칠 수 있는 광범위한 시나리오를 효과적으로 시뮬레이션할 수 있도록 한다.

Pierluca D'Oro는 DGWord 벤치마크의 다양한 축, 즉 인스턴스, 테마 등을 '코딩 에이전트'가 조작할 수 있다고 설명했다. 코딩 에이전트는 소프트웨어의 한 형태이므로, 다른 인스턴스나 테마 등을 생성하는 능력을 가진다.

이는 에이전트가 벤치마크 환경의 다양한 변화에 대응하고, 심지어 환경 자체를 동적으로 조작하여 문제 해결을 시도할 수 있음을 의미한다.

Pierluca D'Oro는 이러한 다양한 작업 변형에 대한 검증 전략을 갖추는 것이 핵심이라고 강조했다. 그는 '컴파일러'와 유사한 시스템을 구축하여 유효하지 않은 구성을 거부하고 유효한 구성만 유지했다고 설명했다.

이 시스템은 'DIG'로 불리며, 환경의 복잡성과 다양성을 유지하면서도, 에이전트 평가의 신뢰성을 보장하기 위한 중요한 부분이다. 이를 통해 수십억 가지의 잠재적 환경 조합 속에서 유효하고 의미 있는 평가 시나리오만을 선별하고 관리할 수 있다.

Pierluca D'Oro는 위에서 설명한 원칙들을 따르고 이러한 방식으로 벤치마크를 구축하면 '해킹할 수 없는 벤치마크'를 가질 수 있다고 주장했다. 이처럼 견고하게 구축된 벤치마크 환경에서 프론티어 모델과 해당 재연 에이전트를 평가하면, 재연 에이전트는 이전과 달리 많은 성능을 얻지 못할 것이라고 설명했다.

이는 DGWord 벤치마크가 기존 벤치마크의 결정론적 취약점을 효과적으로 해결하여, 맹목적인 스크립트가 더 이상 높은 점수를 얻을 수 없음을 보여준다.

Pierluca D'Oro는 DGWord와 같은 다양한 조합의 환경을 구축함으로써 프론티어 모델의 '견고성'을 다양한 변형 축에 걸쳐 측정할 수 있다고 설명했다. 그는 최악의 경우, 프론티어 모델은 이러한 변형에 대한 견고성이 상당히 낮다고 지적했다.

실제로 대부분의 프론티어 모델에서는 이것이 사실이 아니며, 이러한 인프라를 통해 모델의 취약점을 정확히 측정할 수 있다고 덧붙였다. 이는 모델이 예측 불가능한 실제 환경에서 얼마나 잘 작동하는지를 파악하는 데 중요한 지표가 된다.

Pierluca D'Oro는 두 번째 중요한 측면으로 '불확실성'을 정직하게 측정하는 것이 중요하다고 강조했다. 그는 모든 변화가 있는 상황에서 에이전트의 실제 성능을 어떻게 계산할 것인가라는 질문을 던졌다.

이는 벤치마크 환경이 다양하고 예측 불가능한 요소를 포함하게 됨에 따라, 단일 점수가 아닌 에이전트 성능의 변동성과 신뢰 구간을 함께 고려해야 함을 의미한다.

Pierluca D'Oro는 우리가 실제로 접하게 될 현실 세계에서는 환경의 가변성이 중요해지며, 이를 포착해야 한다고 설명했다. 이는 실제 사용 환경이 고정적이지 않고 끊임없이 변화하는 복잡한 양상을 띠기 때문이다.

따라서 에이전트의 성능을 평가할 때는 단순히 정적인 벤치마크 점수뿐만 아니라, 다양한 환경 변화에 대한 에이전트의 적응력과 안정성을 고려해야 한다는 점을 강조했다.

Pierluca D'Oro는 불확실성을 측정하는 데 '커버리지 개념'을 사용하는 것이 실제로 유용하다고 밝혔다. 이는 신뢰 구간을 계산할 때 모델의 성능이 그 범위 내에 있다는 확신을 갖는 것을 의미한다.

커버리지 개념은 통계적 신뢰성을 기반으로, 특정 신뢰 수준에서 모델의 실제 성능이 예측된 범위 안에 포함될 확률을 나타낸다. 이를 통해 에이전트의 성능 평가에 대한 신뢰도를 높이고, 잠재적인 오류 가능성을 줄일 수 있다.

Pierluca D'Oro는 모델 A와 모델 B를 평가할 때, 신뢰 구간이 매우 작아 보이는 경우가 있을 수 있다고 설명했다. 이 작은 신뢰 구간에 기반하여 결정을 내릴 수 있지만, 실제로는 이 신뢰 구간이 '과신된' 것이어서 잘못된 결정으로 이어질 수 있다고 경고했다.

과신된 신뢰 구간은 모델의 성능에 대한 잘못된 확신을 주어, 현실과 동떨어진 투자나 개발 방향으로 나아가게 할 수 있는 치명적인 결과를 초래할 수 있다.

Pierluca D'Oro는 신뢰 구간을 계산하는 신뢰할 수 있는 방법이 있다면, 해당 방법이 '정보에 입각한 결정을 내릴 만큼 충분히 확신하지 못한다'고 알려줄 것이라고 강조했다. 이를 통해 모델을 평가하는 데 더 많은 돈과 시간을 투자하여 비용이 많이 드는 실수를 피할 수 있다고 설명했다.

정확하고 신뢰할 수 있는 신뢰 구간은 AI 모델 개발 및 투자에 있어 불확실성을 명확히 인지하게 함으로써, 더 현명하고 신중한 의사결정을 가능하게 한다.

Pierluca D'Oro는 벤치마크를 구축하는 데 중요한 요소로 환경과 측정항목을 꼽았다. 환경 구축에는 이전에 설명했던 PRISM 원칙과 같은 원칙들을 따를 수 있다고 다시 한번 강조했다.

측정항목 측면에서는, 에이전트의 실제 성능을 공정하고 신뢰할 수 있게 평가할 수 있는 견고한 지표를 설계하는 것이 중요하다는 점을 역설했다. 이는 정확한 모델 평가와 투명한 연구 결과를 위해 필수적인 요소이다.

Pierluca D'Oro는 엄격하지 않은 벤치마크는 오해를 불러일으킨다고 강력히 경고했다. 모든 사람이 중요하게 여기지 않는 벤치마크에서 점수를 극대화하려고 할 수 있기 때문에, 이는 분야 전체에 오해를 불러일으킬 수 있다는 것이다.

특히, 개개인의 결정에 오해를 불러일으킬 수 있으며, 이는 자원 낭비와 잘못된 기술 방향 설정으로 이어질 수 있다고 지적했다.

Pierluca D'Oro는 만약 점수에 대해 확신하고 모델이 좋다고 확신한다면, 실제로 그 실수에 대한 대가를 치르게 될 것이라고 강조했다. 그는 자신에게 정직하고 평가에 엄격하려고 노력하는 것이 매우 중요하고 좋다고 역설했다.

이는 AI 모델의 성능을 과대평가하거나 잘못된 판단을 내릴 경우, 실제 세계에서의 적용 실패나 경제적 손실 등 심각한 결과를 초래할 수 있음을 의미한다. 따라서 객관적이고 엄격한 평가 기준을 통해 정확한 성능을 인지하는 것이 성공적인 AI 개발의 필수 조건임을 시사한다.