RLM, 코드 실행 환경으로 LLM 한계 극복

RLM은 기존 에이전트가 단순히 문자열을 주고받는 방식과 달리, 코드 실행 환경을 적극적으로 활용하여 툴 호출 방식을 최적화한다. 이는 워크플로우 중간 결과를 스크립트 변수에 저장하고 관리함으로써, 더욱 유연하고 강력한 작업 처리가 가능하게 한다.

RLM은 수십만 줄의 코드를 생성해야 하는 등 대규모 컨텍스트 처리가 필요한 작업에 매우 유리하다. 또한 세법처럼 방대한 자료 중 특정 부분을 탐색하고 추론해야 하는 경우에도 효과적인 솔루션이 될 수 있다.

RLM은 긴 사고 과정을 요구하는 벤치마크 테스트에서 놀라운 성능 향상을 보였다. 많은 작업에서 정확도가 2.6%에서 45.4%로 전반적으로 의미 있는 도약을 이루었으며, 코드 논리 퍼즐, 체스, 화학 등 복잡한 분야에서 특히 뛰어난 성능을 입증했다.

LLM이 단독으로 특정 숫자 합산과 같은 수치 계산을 정확히 수행하는 것은 정규 표현식(regex)이나 이와 유사한 도구를 사용하는 것만큼 항상 효율적이지 않다. RLM은 코딩 방식을 활용하여 3만 개 토큰 속 특정 숫자를 합산하는 등의 작업에서 더 높은 정확도를 제공한다. 또한, REPL(읽기-평가-출력 루프) 내 데이터 프레임 상호 작용을 통해 반복 작업의 효율성을 크게 증대시킬 수 있다.

프롬프트만 입력하는 방식은 복잡한 운영 환경에 적합하지 않다. 운영 환경에서는 입력과 출력에 대한 더 구조화된 접근 방식과 이를 수행하기 위한 정의된 파이프라인이 필요하다. 이러한 파이프라인은 불필요한 비대함을 제거하고 비용 절감을 가능하게 한다.

현실 세계에는 RLM을 다양한 수준에서 구현하는 오픈소스 라이브러리들이 존재한다. Predict RLM은 지식 업무 및 문서 분석에 특화되어 있으며, 인사이트 기반 자동 트래픽 관리 및 컨텍스트 엔지니어링 자동화를 가능하게 한다.

RLM은 데이터 프레임과 상호 작용할 수 있는 자체 REPL(읽기-평가-출력 루프)을 갖추고 있어, 코호트 유지율 분석과 같은 복잡한 데이터 분석 작업을 간소화할 수 있다. 모델이 데이터 프레임 구조에 RLM을 적용하여 스스로 추론하고 직접 코드를 작성하는 과정을 보여준다.

RLM의 핵심은 LLM이 REPL 내에서 데이터프레임과 직접 상호작용할 수 있다는 점이다. 이는 주피터 노트북처럼 실시간으로 데이터를 조작하고 분석할 수 있게 하며, 필요 시 서브 LLM에 데이터 분석 작업을 위임하여 모델이 결과물을 스스로 반복하며 다듬는 구조를 구축할 수 있다.

RLM의 핵심 기능 중 하나는 LLM 스스로 작업 완료 여부를 판단하여 결과 제출 시점을 결정한다는 점이다. 이는 최대 반복 횟수 변수를 통해 제어 가능하며, 설정된 목표 달성 시 스스로 중단함으로써 효율적인 작업 관리가 가능하다.

Trampoline AI는 RLM을 활용하여 복잡하고 제각각인 송장 문서 처리를 성공적으로 수행했다. 이는 청킹이나 임베딩 등 수동적인 컨텍스트 관리가 불필요하며, 200페이지 분량의 계약서와 같은 대규모 문서도 시스템이 스스로 처리할 수 있게 한다.

Predictor RLM은 DSPy를 사용하여 메인 LM과 하위 LM 호출 사이의 스키마를 결정한다. 이는 입출력 값을 명시하여 데이터 형식을 강제함으로써, 저비용 모델에서도 높은 성능을 기대할 수 있게 한다.

Halo 프로젝트의 핵심은 특정 워크플로우나 DSPy 같은 프레임워크 구조 자체를 최적화하는 대신, 실제로 하니스를 반복적으로 개선하는 데 있다. 에이전트 작업의 추적 기록을 분석하고 하니스 자체를 메타 최적화하여 RLM의 긴 컨텍스트 수용 능력을 활용한 워크플로우 개선을 목표로 한다.

RLM 에이전트는 약 50만 줄에 달하는 코드 베이스 전체를 훑어 OWASP 취약점 애플리케이션 분석을 시연했다. 이는 복잡한 컨텍스트 엔지니어링 없이도 코드 취약점에 대한 통찰력을 자동으로 도출할 수 있음을 보여준다.