OpenAI, 코딩 에이전트 개발 핵심 'Codex 하네스' 설계 공개… 오픈소스 전환으로 생태계 확장

OpenAI 엔지니어 Dominik Kundel은 발표를 시작하며 청중 중 자체 에이전트를 구축했거나 현재 구축 중인 사람들에게 질문을 던져 그들이 이번 발표의 핵심 대상임을 확인했다. 그는 이 자리가 에이전트 개발에 실질적인 도움을 주기 위한 목적임을 명확히 했다. Kundel은 이번 발표를 통해 OpenAI가 코딩 에이전트인 Codex 하네스를 어떻게 설계하고 최적화했는지에 대한 깊이 있는 통찰을 공유하고자 했다.

Dominik Kundel은 발표의 핵심 내용인 Codex 하네스가 오픈소스로 공개되었음을 밝혔다. 이 프로젝트는 아파치 2.0 라이선스를 따르며, 하네스 자체는 Rust 언어로 작성되었다. Kundel은 이 오픈소스 공개를 통해 더 많은 개발자가 Codex 하네스를 활용하고 개선할 수 있기를 기대한다고 덧붙였다.

Codex 에이전트는 두 가지 주요 프로토콜을 사용하여 통신 구조를 구축하고 있다. 첫 번째는 앱 서버(App Server) 프로토콜로, 다양한 애플리케이션과의 연동을 담당한다. 두 번째는 Responses API로, 하네스와 추론 엔진 간의 효율적인 통신을 처리하는 역할을 한다. 이 두 프로토콜은 에이전트의 유연성과 확장성을 보장하는 핵심 요소로 작용한다.

앱 서버 프로토콜은 Codex 하네스의 핵심적인 확장성 요소 중 하나이다. 이 프로토콜을 사용하면 개발자들이 자체 사용자 인터페이스(UI)나 에이전트 인터페이스를 구축할 수 있도록 지원한다. Kundel은 이를 통해 개발자들이 Codex 하네스 위에 자신만의 맞춤형 솔루션을 만들 수 있다고 설명하며, 다양한 플랫폼과의 연동 가능성을 강조했다.

Responses API는 작년에 출시된 API로, 에이전트 중심의 세계에서 기존 채팅 완료 API를 재해석한 결과물이다. OpenAI는 이 API를 통해 에이전트 생태계를 확장하고자 하며, 올라마(Ollama), LM 스튜디오(LM Studio), 엔비디아(Nvidia) 등 다양한 파트너들과 협력하여 개방형 Responses 스키마를 표준화하고 있다. Kundel은 이러한 개방적인 접근 방식이 에이전트 개발자들에게 더 큰 유연성과 호환성을 제공할 것이라고 강조했다.

Kundel은 에이전트 성능과 효율성을 최적화하는 데 있어 '컨텍스트 구성'이 가장 중요한 단계 중 하나라고 강조했다. 이 과정에서 OpenAI는 세 가지 핵심 요소를 고려한다. 첫째는 컨텍스트의 '크기'로, 모델이 처리할 수 있는 정보의 양을 효율적으로 관리하는 것이다. 둘째는 '유연성'으로, 다양한 시나리오에 맞춰 컨텍스트를 동적으로 조절할 수 있는 능력이다. 셋째는 '성능'으로, 컨텍스트 구성 과정이 전체 에이전트 실행 속도에 병목 현상을 일으키지 않도록 최적화하는 것을 의미한다. 그는 이 세 가지 균형을 맞추는 것이 고성능 에이전트 개발의 핵심이라고 설명했다.

Codex 하네스는 모델이 학습 과정에서 익숙해진 도구들을 사용자 환경에 자동으로 제공한다. 그 예시 중 하나가 셸 도구인 Ripgrep이다. Dominik Kundel은 사용자가 Ripgrep을 별도로 설치하지 않았더라도 Codex 하네스가 이를 함께 제공함으로써 모델이 학습된 환경과 동일하게 작동할 수 있도록 지원한다고 설명했다.

Codex 에이전트는 운영체제(OS)별로 최적화된 도구 활용을 지원한다. 특히 Windows 환경에서 실행될 경우, 모델이 PowerShell을 네이티브로 사용하도록 학습되었기 때문에, 에이전트가 PowerShell 코드를 작성하고 실행하는 것을 볼 수 있다. 이는 모델의 학습 데이터를 바탕으로 각 OS의 특성에 맞는 효율적인 코드 생성 및 실행을 가능하게 한다.

Codex 하네스는 운영체제별로 맞춤형 샌드박스 격리 아키텍처를 적용하여 보안을 강화한다. 모든 파일 시스템 상호작용은 샌드박스 레이어를 거치게 된다. 구체적으로, macOS에서는 Seatbelt를 사용하고, Linux 환경에서는 Bubblewrap을 활용한다. Windows의 경우, OpenAI는 자체적으로 오픈소스 샌드박스를 개발하여 적용했다고 Dominik Kundel은 설명했다. 이러한 다중 샌드박스 전략은 에이전트의 활동을 안전하게 격리하여 잠재적 위험을 최소화한다.

Dominik Kundel은 긴 작업을 수행할 때마다 사용자에게 승인을 요구하는 '승인 피로(approval fatigue)' 문제를 해결하기 위해 OpenAI의 보안 팀과 협력하여 자동 승인 모드를 도입했다고 밝혔다. 이 모드는 사용자 편의성을 높이는 동시에 일정 수준의 보안을 유지하기 위한 방안으로 고안되었다. 자동 승인 기능은 에이전트의 작업 흐름을 매끄럽게 하여 생산성을 향상시키는 데 기여한다.

에이전트에 높은 자율성을 부여하도록 프롬프트될 경우, 모델이 사용자의 의도를 오해할 수 있는 위험이 존재한다. Dominik Kundel은 이러한 상황에서 발생할 수 있는 구체적인 위험 사례들을 언급했다. 예를 들어, 파일을 이메일로 보내려다 실패하면 사용자 의도와 달리 파일 공유 서버에 업로드하거나, 경로 설정 실수로 인해 중요한 데이터가 삭제될 수 있다는 것이다. 그는 이러한 자율성이 가져올 수 있는 잠재적 위험을 인지하고 안전 장치를 마련하는 것이 중요하다고 경고했다.

Auto Review 서브 에이전트는 에이전트의 높은 자율성으로 인한 위험을 관리하고 자동 승인 프로세스를 가능하게 하는 핵심 구성 요소다. 이 서브 에이전트는 오직 읽기 전용 권한만을 가지며, 실행 권한은 없다. Auto Review는 현재 작업의 맥락, 사용자에게 부여된 권한, 그리고 파일 삭제나 네트워크 요청과 같은 행동에 대한 위험 분류 기준을 종합적으로 평가하여 해당 작업의 안전성을 자동으로 판단한다. 이 시스템은 모델이 오해석으로 위험한 행동을 시도할 때 이를 사전에 감지하고 차단하는 역할을 수행한다.

Dominik Kundel은 최신 모델인 GPT-5.3 Codex Spark를 Cerebras에서 초당 1,000토큰이라는 초고속으로 구동했을 때 예상치 못한 병목 현상을 발견했다고 설명했다. 이 환경에서는 모델의 추론 속도 자체가 문제가 아니라, 네트워크 통신이 병목 현상을 유발하는 주요 원인이 되었다. 이는 모델의 속도가 극도로 빨라지면서 기존의 통신 방식으로는 데이터를 효율적으로 주고받기 어려워진다는 것을 시사한다.

초고속 추론 환경에서 발생하는 네트워크 병목 현상을 해결하기 위해 OpenAI는 웹소켓 모드를 도입했다. 이 새로운 통신 방식은 전체 데이터를 매번 전송하는 대신, 변경된 결과값만 선택적으로 전송함으로써 네트워크 오버헤드를 현저히 줄인다. 또한, 웹소켓은 상태 기반(stateful) 컨텍스트를 유지하여 에이전트와 서버 간의 효율적인 통신을 가능하게 한다. Dominik Kundel은 이러한 최적화가 초당 1,000토큰과 같은 극한의 환경에서도 에이전트의 성능을 최대한 끌어올리는 데 필수적이라고 설명했다.

Codex 하네스는 '/goal' 명령어를 통해 에이전트의 목표 달성 과정을 자동화한다. 이 명령어를 사용하면 하네스가 자동으로 연속 실행 프롬프트를 에이전트에 주입하게 된다. 모델은 이 프롬프트를 바탕으로 목표를 달성하기 위한 일련의 작업을 수행하며, 최종적으로 목표 달성을 선언하는 업데이트 도구를 호출할 때까지 이 과정을 반복하게 된다. Dominik Kundel은 이 자동 루프 실행 원리가 에이전트의 자율성을 높이고 사용자의 개입을 최소화하는 데 중요한 역할을 한다고 설명했다.

Dominik Kundel은 에이전트의 효율성을 극대화하기 위한 중요한 프롬프트 작성 팁을 공유했다. 그는 모델이 언제 작업을 종료해야 하는지 명확히 인식할 수 있도록 '구체적이고 검증 가능한' 목표를 설정하는 것이 중요하다고 강조했다. 단순히 긴 에세이 형태의 목표보다는 에이전트가 달성 여부를 쉽게 판단할 수 있는 명확한 기준을 제시해야 한다. 이러한 프롬프트 설계는 에이전트가 불필요하게 작업을 계속하거나 잘못된 방향으로 나아가는 것을 방지하여 전체적인 성능과 정확도를 향상시킨다.

Dominik Kundel은 Codex 앱 서버와 하네스가 오픈소스로 공개되어 있다는 점을 다시 한번 강조하며, 개발자들이 이를 에이전트 개발의 청사진(블루프린트)으로 활용할 것을 제안했다. 또한, 그는 Responses API의 강력한 기능을 에이전트 개발 프로젝트에 직접 통합하여 활용할 수 있다고 덧붙였다. 이는 오픈소스 생태계 참여를 독려하고, 더 많은 개발자들이 OpenAI의 기술 스택을 기반으로 혁신적인 에이전트를 구축할 수 있도록 지원하려는 의도로 풀이된다.