모델은 충분히 좋다: 웹 에이전트의 미래는 엔지니어링에 달렸다

Browserbase의 창립자 Paul Klein은 AI 엔지니어 컨퍼런스에서 에이전트를 월드 와이드 웹으로 가져오는 주제로 강연을 시작했다. 그는 이 강연에서 AI 에이전트가 웹 환경에서 직면하는 문제점과 이를 해결하기 위한 엔지니어링 접근 방식에 대해 논의할 예정이다.

그는 에이전트가 웹에서 원활하게 작동하도록 하는 것이 중요한 과제이며, 현재의 기술 수준에서 해결할 수 있는 부분이 많다고 설명했다.

Paul Klein은 웹이 처음부터 사람을 위해 설계되었기 때문에 에이전트에게는 비우호적인 환경이라고 지적했다. 그는 에이전트가 웹과 상호작용하고 자동화 시스템을 구축하는 과정에서 많은 어려움에 직면한다고 설명했다.

웹 사이트의 복잡한 구조와 사용자 인터페이스는 에이전트가 정보를 추출하고 작업을 수행하는 데 큰 장애물로 작용하며, 이는 자동화 솔루션 개발의 주요 난관으로 꼽힌다.

Klein은 최근까지는 모델 성능이 에이전트의 발전을 가로막는 주요 병목 현상이었다고 언급했다. 그러나 그는 지난 1년간 모델 기술이 크게 발전하여, 이제는 긴 컨텍스트 범위의 복잡한 작업을 효율적으로 처리할 수 있게 되었다고 설명했다.

그는 "모델이 문제라고 생각하지 않습니다"라고 단언하며, 현재의 모델들은 그 어느 때보다 더 복잡한 작업을 수행할 능력을 갖추었다고 강조했다.

지난 1년간 코딩 분야의 RL(강화 학습) 환경에 상당한 투자가 이루어졌으며, 지난 6개월 동안에는 컴퓨터 사용을 위한 RL 환경에도 동일하게 많은 투자가 있었다고 Klein은 밝혔다. 그는 이러한 투자 덕분에 컴퓨터 사용 모델의 성능이 눈에 띄게 향상되었음을 평가를 통해 확인할 수 있다고 언급했다.

Klein은 실제 웹 환경을 모델링하는 RL 환경에서 인간의 궤적을 훈련함으로써 더 나은 모델을 구축할 수 있으며, 이로 인해 모델의 발전이 계속되고 있다고 설명했다.

Paul Klein은 2023년 11월 Andrej Karpathy가 트위터를 통해 예측한 LLM(대규모 언어 모델) 주변 시스템, 즉 '하네스'의 중요성을 강조했다. 그는 Karpathy의 비전이 매우 미래지향적이며, LLM이 접근할 수 있는 도구들이 앞으로 많은 분야에서 활용될 것이라고 말했다.

LLM용 코드 인터프리터, 스크린샷과 같은 시청각 입력, 브라우저, 그리고 하위 에이전트로서의 다른 LLM 등 이 모든 원칙이 앞으로 3년 후의 기술 발전을 이끌 것이라고 Klein은 설명했다.

Paul Klein은 Cursor가 LLM 위에 모델 엔지니어링, 즉 하니스 엔지니어링을 처음으로 수행하여 성능을 개선한 선구적인 기업이라고 언급했다. 그는 Cursor가 LLM의 잠재력을 최대한 활용하기 위한 시스템적 접근 방식을 제시했다고 평가했다.

Browserbase 또한 브라우저 모델을 통해 이와 유사한 하니스 엔지니어링 방식을 많이 채택해왔으며, 이는 에이전트의 웹 상호작용 능력을 향상시키는 데 중요한 역할을 한다고 설명했다.

Paul Klein은 컴퓨터 사용 분야에 엄청난 미활용 잠재력이 존재한다고 강조했다. 그는 현재의 모델들은 충분히 뛰어나지만, 이 잠재력을 현실로 구현하기 위한 엔지니어링 작업이 부족하다고 지적했다.

Klein은 모델 자체의 개선을 기다리기보다는, 이미 존재하는 모델 능력을 최대한 활용할 수 있는 엔지니어링 솔루션을 구축하는 것이 중요하다고 주장했다.

Klein은 비코딩 분야에서 컴퓨터 활용을 통한 자동화 기회가 코딩 분야보다 훨씬 더 크다고 강조했다. 그는 최근 슬라이드를 통해 컴퓨터 사용의 이점을 얻을 수 있는 비코딩 도메인의 사용 사례가 매우 많다고 지적했다.

그는 이러한 문제에 투자할 가치가 충분하며, 모델이 더 나아지기를 기다리는 것은 잘못된 접근 방식이라고 주장했다. 즉, 현재의 기술로도 오늘 당장 이 문제를 해결할 수 있다는 것이다.

Paul Klein은 하니스 엔지니어링의 중요성을 강조하며, 에이전트가 반복적인 작업을 효율적으로 수행하려면 '기억'과 '기술' 같은 요소들이 필요하다고 설명했다. 그는 스크립트를 작성하고 모델을 사용하는 것을 넘어, 에이전트가 웹사이트별 특화된 기술을 학습하고 활용할 수 있어야 한다고 말했다.

이를 위해 Browserbase는 `browser.sh`라는 도구를 출시하여 웹사이트용 기술을 게시하고, 에이전트가 웹사이트에 접속하기 전에 어떤 유형의 작업을 수행할 수 있는지 관찰할 수 있도록 지원한다. Klein은 `WebMCP`가 이러한 목적에 매우 유용하다고 덧붙였다.

Paul Klein은 에이전트에 특정 '스킬'을 구축하는 것이 중요하다고 강조했다. 그는 에이전트가 Playwright CLI와 같은 커맨드 라인 인터페이스를 사용하여 웹사이트를 제어할 경우, 스킬과 컨텍스트를 제공하여 더욱 효과적으로 작동하도록 만들 수 있다고 설명했다.

이는 토큰 사용을 훨씬 더 최적화하는 방법으로, 페이지의 모든 정보를 모델에 던지면 비효율적이고 비용이 많이 들며 만족스럽지 못한 결과를 얻을 수 있다고 지적했다. Klein은 올바른 하니스는 올바른 도구를 제시할 뿐만 아니라, 압축되고 최적화된 양의 토큰을 제공하여 매번 정확하고 반복 가능한 결과를 얻을 수 있도록 해야 한다고 덧붙였다.

Paul Klein IV는 OpenClaw가 출시된 후 많은 사람들이 Mac mini를 구매하여 에이전트를 구동하고 CAPTCHA를 해결하는 현상을 언급했다. 그는 이러한 접근 방식이 인프라 측면에서 심각한 문제점을 내포하고 있다고 지적했다.

Mac mini 기반의 시스템은 수천 개의 에이전트를 고객을 위한 프로덕션 환경에서 운영하는 데 적합하지 않으며, Klein은 아직 대규모로 SOC 2를 준수하는 Mac mini 설정을 본 적이 없다고 강조하며, 개인적인 해결책이 기업 규모에서는 비현실적임을 설명했다.

Paul Klein IV는 웹 에이전트가 효과적으로 작동하려면 웹 자체를 개선해야 한다고 주장했다. 그는 웹이 에이전트와 잘 상호작용하도록 만드는 것이 단순히 개별 시스템을 엔지니어링하는 것보다 훨씬 더 어려운 과제라고 설명했다.

Klein은 우리가 웹과 더 넓은 세상에 에이전트가 웹사이트를 방문하기를 원한다는 메시지를 전달하는 '전도사'가 되어야 하며, 이는 웹 생태계 전체의 변화를 유도하는 노력이 필요함을 시사했다.

Paul Klein IV는 에이전트가 웹사이트에 로그인하는 인증 방식이 매우 큰 문제라고 지적했다. 에이전트에게 직접 비밀번호를 제공하는 것은 보안상 위험하며, 서비스 계정을 만들 경우에도 제한된 접근 권한 때문에 지속적으로 새로운 권한을 부여해야 하는 어려움이 있다고 설명했다.

그는 에이전트 인증이 기업 환경에서 컴퓨터를 활용하는 데 주요 도전 과제가 될 것이라고 전망했으며, WorkOS의 AuthMD와 같은 솔루션이 에이전트의 웹사이트 접속 및 계정 생성 방식을 개선하기 위해 개발되고 있다고 언급했다.

Paul Klein IV는 생산 환경에서 실제로 작동할 수 있는 에이전트를 구축하는 데 가장 큰 장벽이 에이전트가 접근할 수 있는 시스템이라고 강조했다. 그는 인증 문제가 이 장벽을 해결하기 위해 산업 전반에서 반드시 해결해야 할 과제라고 주장했다.

WorkOS가 웹사이트에 접속하는 에이전트가 자체 계정을 얻는 새로운 방법인 AuthMD를 출시했음을 언급하며, 현재 소프트웨어를 구축하고 있다면 에이전트 우선 가입 및 로그인 흐름이 어떻게 구현될지 고려해야 한다고 조언했다. Klein은 좋든 싫든 에이전트가 소프트웨어를 사용할 것이므로, 안전하게 사용하도록 설계하는 것이 최선이라고 덧붙였다.

Paul Klein IV는 신뢰할 수 있는 브라우저 에이전트를 구축하는 것이 더 이상 모델 문제가 아니라 엔지니어링 문제라고 단언했다. 그는 이 문제가 우리 모두가 해결할 수 있는 영역에 속하지만, 그 엔지니어링 작업을 수행하는 것은 전담 인력이 필요한 과제라고 설명했다.

Paul Klein IV는 훌륭한 브라우저 에이전트 솔루션을 위해서는 네 가지 핵심 요소가 필수적이라고 강조했다. 첫째, 확장 가능한 플랫폼이 필요하며, 이는 대규모 에이전트 운영을 위한 견고한 기반을 제공한다.

둘째, 모델에 구애받지 않는 에이전트 설계로 특정 모델에 종속되지 않고 유연하게 작동해야 한다. 셋째, 에이전트 신원 문제를 해결하여 보안과 신뢰성을 확보해야 한다. 마지막으로, 에이전트의 작동을 투명하게 파악하고 개선할 수 있는 '관측 가능성'이 필수적이다.

Paul Klein IV는 에이전트의 '관측 가능성'이 자기 개선을 위해 매우 중요하다고 설명했다. 전 세계 모든 웹사이트에 접속하는 에이전트를 구축할 때, 에이전트가 어디로 가고 왜 가는지, 그리고 매번 성능이 개선되고 있는지를 확인할 수 있어야 한다는 것이다.

그는 모든 에이전트 실행이 점진적으로 더 나아져야 한다고 강조하며, 이를 위해서는 화면 기록, 로그, 네트워크 활동과 같은 데이터가 필요하다고 밝혔다. 이러한 정보는 에이전트에게 다시 입력되어 스스로 학습하고 개선하는 데 활용되어야 한다.

Paul Klein IV는 컴퓨터 사용 문제를 해결하는 것이 AI의 실물 경제 확산을 가속화할 것이라는 핵심 신념을 밝혔다. 그는 싱가포르의 물류 회사, 남아프리카의 은행, 멕시코의 제재소와 같은 전 세계의 수많은 기업들이 여전히 PHP 웹사이트와 포럼을 기반으로 인간이 매일 버튼을 클릭하는 방식으로 운영되고 있다고 지적했다.

Klein은 이러한 회사들을 위한 브라우저 에이전트를 구축하는 것이 엄청난 기회이며, AI 기술이 실제 산업 현장에 적용되어 생산성을 혁신할 수 있는 핵심적인 방법이라고 강조했다.

Paul Klein IV는 BrowserBase Agents의 간단한 데모를 선보였다. 그는 사용자가 직접 도구를 조립할 필요 없이 프롬프트만 입력하면, BrowserBase가 하네스, 런타임, 샌드박스, 코드 실행, 패치, 검색 도구, 모델을 자동으로 설정하여 작업을 수행한다고 설명했다.

이 에이전트의 아름다운 점은 실행되는 동안 각 단계를 살펴보고, 무엇을 할 수 있는지 기억하며 학습하여 미래에 유사한 작업을 다시 수행할 수 있다는 점이다. 이는 에이전트의 자율성과 학습 능력을 보여주는 중요한 특징이다.

Paul Klein IV는 지난 한 해 동안 브라우저 에이전트를 실제 환경에서 작동시키는 데 많은 어려움이 있었기 때문에, 많은 사람들이 컴퓨터 사용 분야에서 한 발 물러섰다고 평가했다. 그러나 그는 고객들로부터 직접 들은 바로는 현재 브라우저 에이전트가 성공적으로 작동하고 있다고 밝혔다.

Klein은 모델, 기술, 그리고 관련 도구들이 계속해서 발전하고 있기 때문에 브라우저 에이전트의 미래는 매우 밝다고 강조했다. 그는 1년 후에는 이 분야에 더 많은 사람들이 모일 것이라고 전망하며, 더 나은 솔루션을 만드는 것이 우리의 과제라고 말했다.