AI 에이전트가 웹을 에이전트화, 그러나 API가 아닌 '컴퓨터 사용 모델'로

AI 에이전트가 웹에서 활동의 주역이 될 것이라는 주장이 온라인에 광범위하게 퍼져있지만, 이 주장이 웹이 에이전트에게 API를 제공하여 사물에 접근하게 될 것이라는 단계로 나아가는 것은 망상에 불과하다고 드루브 바트라가 주장했다. 그는 에이전트가 사람이 아닌 더 많은 버튼을 클릭하고, 읽고, 물건을 구매할 것이라는 처음 두 가지 주장에는 동의하지만, 웹이 갑자기 API를 제공할 것이라는 마지막 부분은 현실과 동떨어져 있다고 지적했다.

현재 웹은 자동화된 트래픽에 매우 적대적이며, 에이전트가 프로토콜 집합을 호출하고 이 프로토콜이 시간이 지남에 따라 성장할 것이라는 답변은 그 의미와 방법을 한 단계 더 깊이 파고들 때 비현실적이라는 것이다.

드루브 바트라는 컴퓨터 사용 에이전트와 컴퓨터 사용 모델이 API가 아닌 방식으로 웹을 에이전트화할 것이라고 주장했다. 특히 웹의 '롱테일' 부분이 그러할 것이라고 설명했다.

아마도 가장 인기 있는 웹사이트들은 API를 제공할 수 있겠지만, 웹의 광범위한 롱테일은 그렇지 않을 것이라는 분석이다.

비즈니스 클래스 항공편 찾기와 같은 사용 사례는 웹 자동화의 실제 적용과 거리가 멀다고 드루브 바트라는 지적했다. 그는 마이애미에서 팔마 데 마요르카로 가는 비즈니스 클래스 항공편을 찾는 예시를 들며, 사람들이 컴퓨터 사용 에이전트가 flights.google.com에서 버튼을 클릭할 것이라고 기대하는 것은 기이하다고 비판했다.

이런 종류의 정보는 이미 애그리게이터를 통해 변수를 보내면 JSON 형태로 받을 수 있으며, LLM(대규모 언어 모델)이 도구 호출을 할 수 있는데 굳이 버튼 클릭을 기대하는 것은 현실적이지 않다는 설명이다.

드루브 바트라는 자신이 좋아하는 레스토랑의 글루텐 프리 메뉴 항목을 찾는 예시를 들며 웹 자동화의 한계를 설명했다. 그는 레스토랑 웹사이트나 애그리게이터를 통해 글루텐 프리 메뉴 항목을 필터링하고 요청할 수 있는 엔드포인트가 있을 것이라고 가정하는 것에 의문을 제기했다.

이는 사람들이 자동화 시스템이 웹사이트로부터 특정 정보를 쉽게 추출할 수 있을 것이라고 막연히 기대하는 경향을 보여주는 사례로 제시되었다.

드루브 바트라는 레스토랑 메뉴에서 글루텐 프리 항목을 제공하는 엔드포인트가 존재할 것이라는 생각은 망상이라고 단언했다. 그는 이 시점에서 보고 있는 사람들이 있다면 그러한 엔드포인트가 존재한다는 망상에서 벗어나게 해주고 싶다고 강조했다.

실제 레스토랑 웹페이지의 모습을 보여주며, 자동화 시스템이 기대하는 이상적인 형태와 현실 간의 괴리를 명확히 했다.

드루브 바트라는 레스토랑 웹사이트를 세 가지 난이도로 나누어 보여주며, AI 에이전트가 정보를 추출하는 실제 어려움을 설명했다. '쉬운 모드'는 텍스트와 가격이 명확히 보이는 웹페이지로, 스크래핑이 비교적 용이하다. '중간 모드'는 메뉴 버튼을 클릭하면 PDF로 이동하는 경우로, 에이전트에게 PDF 리더 모드가 필요하지만 여전히 텍스트 기반이라 챗GPT 같은 모델이 처리할 수 있다.

가장 어려운 '어려운 모드'는 레스토랑의 사진, 위치, 메뉴 항목 사진만 있는 경우다. 메뉴가 직접 표시되지 않고 클릭하면 개별 갤러리 이미지가 나타나는데, 이 이미지들은 픽셀화되어 텍스트 정보가 없거나 PDF 항목이 포함되어 있다. 이러한 경우 OCR(광학 문자 인식) 작업이 매우 어려워지며, 글루텐 프리 항목을 알려주는 API 엔드포인트가 제공될 것이라는 기대는 비현실적이라고 강조했다.

드루브 바트라는 기업이 미국 내 1만 5천에서 2만 개의 학군에 물건을 판매하고자 할 때 직면하는 어려움을 예시로 들었다. 특정 학군이 현재 노트북을 조달하고 있는지, 또는 RFP(제안요청서) 상태가 열려 있고 주제가 노트북인 엔드포인트가 있을 것이라고 가정하는 것 역시 비현실적이라고 설명했다.

이러한 정보는 웹사이트에 체계적인 형태로 제공되기보다는 훨씬 더 복잡한 방식으로 존재하거나 접근해야 한다는 점을 시사한다.

학교 웹사이트의 현실적인 모습을 세 가지 모드로 설명하며 AI 에이전트의 정보 접근 한계를 지적했다. '쉬운 모드'는 이타카 공립학교 웹사이트처럼 포털이 있는 경우이며, 이보다 약간 어려운 모드는 재무 메뉴 아래 구매 섹션, 그리고 그 아래 특정 입찰 공고가 스캔된 PDF 형태로 제공되는 경우다.

가장 어려운 '궁극의 보스 레벨'은 정보에 접근하기 위해 정보 자유법(FOIA)에 따라 정보 접근 요청서를 제출해야 하는 학군이다. 이 경우, 이메일을 스캔해 구글 드라이브에 올리고 관련 PDF를 첨부하는 방식으로 정보를 제공하며, 이러한 기관들이 MCP(Microsoft Certified Professional) 서버를 제공할 것이라고 기대하는 것은 비현실적이라고 비판했다.

드루브 바트라는 웹 자동화에 대한 일반적인 인식이 현실과 크게 동떨어져 있음을 강하게 비판했다. 그는 이러한 망상의 정도가 상상을 초월하며, 웹의 실제 작동 방식과 제약 사항에 대해 현실을 직시해야 할 때라고 강조했다.

이는 웹의 복잡성과 다양성을 간과한 채 이상적인 자동화 시나리오만을 상상하는 경향에 대한 경고로 해석된다.

웹은 약 2억 개의 활성 웹사이트와 10억 개에 달하는 총 웹사이트 수를 가진 방대한 규모를 자랑하며, 그 인프라 변화는 매우 느리다고 드루브 바트라는 설명했다. 엔지니어로서 소프트웨어 시스템에 무제한으로 접근하여 코딩 에이전트가 API 엔드포인트를 만들도록 할 수 있다고 상상할 수 있지만, 기술적 문제가 해결된다 하더라도 현실적으로 이러한 기관들에 무제한으로 접근할 수 없다는 것이다.

많은 기관들은 여전히 팩스를 사용하는 등 매우 느리게 변화하고 있으며, 하룻밤 사이에 인프라가 갑자기 바뀔 수는 없으므로 API 자동 생성의 한계가 분명하다고 지적했다.

코딩 에이전트가 단순히 HTML을 직접 처리하여 웹 정보를 얻을 수 있다는 생각은 현실과 다르다고 드루브 바트라는 설명했다. 그는 미네소타 팀버울브스와 브루클린 네츠 경기 최종 점수를 웹페이지에서 찾는 예시를 들며, 현대적인 웹사이트는 처음 로드될 때 빈 플레이스홀더만 보인다고 지적했다.

브라우저는 네트워크 연결과 시간에 따라 비동기 호출을 통해 정보를 가져오고, 엔드포인트에서 정보를 추출하며, JSON 형태로 응답을 받는다. 따라서 단순히 HTML만 읽으면 HTML에는 답변이 없으므로 챗봇도 해당 정보에 접근할 수 없다는 것이다. 브라우저가 코드 조각이라는 이유만으로 코딩 에이전트도 같은 일을 할 수 있을 것이라는 생각은 웹 작동 방식을 오해한 것이라고 말했다.

제품 페이지에서 '25mm 오스뮴 큐브가 재고 있음' 또는 '재고 없음'을 확인하는 것은 단순히 HTML을 읽는 것만으로는 어렵다고 드루브 바트라는 설명했다. 드롭다운 메뉴를 예로 들며, 인간은 회색으로 표시된 것이 품절을 의미한다는 것을 비록 '재고 있음'이라는 글자가 없어도 시각적으로 이해하지만, HTML에는 해당 정보가 직접 명시되어 있지 않다는 것이다.

때로는 '품절' 텍스트 자체가 없고 단순히 클릭할 수 없는 회색으로만 표시되기도 한다. 이러한 정보는 코드 어딘가에 있겠지만, 순수한 HTML만으로는 그 의미를 파악하기 어렵고 시각적 렌더링을 이해하는 능력이 필요하다고 강조했다.

드루브 바트라는 웹사이트 화면에 보이는 정보는 어딘가에 순수 텍스트로 쓰여 있는 것이 아니라, 계산되고 렌더링되어 나타나는 결과물이라고 설명했다.

이는 웹 페이지의 내용이 단순한 텍스트 문서가 아니라 동적으로 생성되고 시각적으로 표현되는 복합적인 결과물임을 강조한다.

브라우저는 본질적으로 렌더링 엔진이며, 우리가 화면에서 보는 것은 픽셀로 구성된 이미지라고 드루브 바트라는 설명했다. 그는 이를 게임 엔진에 비유하며, 게임의 소스 코드를 읽어 픽셀이 어떻게 될지 정확히 예측할 수 없는 것과 마찬가지라고 말했다.

이는 기계가 웹 정보를 이해하기 위해서는 렌더링된 결과물인 픽셀을 해석하는 능력이 필요하다는 점을 시사한다.

웹은 근본적으로 인간의 눈을 위해 만들어졌으며, 웹사이트의 소비자는 인간이므로 픽셀이 진실의 원천이라고 드루브 바트라는 주장했다. 따라서 기계가 이러한 웹 환경에서 작동하기 위해서는 시각 능력이 필수적이라는 함의가 도출된다.

이는 웹의 디자인과 구조가 인간의 인지 방식에 맞춰져 있기에, 기계 또한 시각 정보를 처리하고 해석하는 능력을 갖춰야만 웹과 효과적으로 상호작용할 수 있음을 강조한다.

드루브 바트라의 팀은 웹 에이전트 분야에서 '네비게이터(navigator)'라는 모델을 개발해왔다고 밝혔다. 이 모델의 첫 번째 버전은 작년 11월에 출시되었다고 덧붙였다.

이 모델은 AI 에이전트가 웹과 상호작용하는 새로운 방식을 제시하기 위한 노력의 일환이다.

네비게이터 모델의 첫 번째 버전은 순수하게 인간과 유사한 방식으로 작동하며, 스크린샷을 입력받고 버튼 클릭 및 스크롤 동작을 출력하여 작업을 수행한다고 드루브 바트라는 설명했다. 그는 이러한 방식이 일반적인 해결책이라고 언급하며, 완전한 정착 지점은 아닐 수 있지만 중요한 단계임을 시사했다.

이 모델을 통해 전자상거래 웹사이트에 할인 코드를 적용하는 것과 같은 실제 작업을 수행할 수 있다고 예시를 들었다.

드루브 바트라는 웹이 인간의 눈을 위해 만들어졌으므로 기계는 시각 능력이 필요하다고 재차 강조했다. 그러나 기계가 반드시 인간적인 방식에만 국한될 필요는 없다고 덧붙였다.

롱테일 웹사이트를 위해 시각 능력이 필요하다는 것이 유일한 방법이라는 뜻은 아니며, 모델이 필요에 따라 자바스크립트도 작성할 수 있음을 보여주는 다음 버전의 모델 예시를 제시했다.

드루브 바트라는 모델이 필요할 때 코드를 읽고 쓸 수 있기 때문에 자바스크립트 작성도 가능하다고 설명했다. 브라우저는 결국 코드를 실행할 수 있는 엔진이며, 일종의 형식적 검증 시스템이 내장되어 있다는 것이다.

스크린샷은 진실의 원천이 되므로, 모델은 픽셀을 통해 성공 여부를 확인할 수 있다. 따라서 필요할 때 버튼을 클릭하고, 필요할 때 코드를 작성하며, 픽셀을 통해 결과를 확인하는 것이 웹 에이전트의 효과적인 작동 방식이라고 강조했다.

컴퓨터 사용 모델이 실제로 작업을 수행할 만큼 충분히 좋은지에 대한 의문에 대해, 드루브 바트라는 데이터가 실제 인식을 뒤엎는다고 강조했다. 'Mind2Web' 벤치마크는 이미 포화 상태에 도달했으며, 팀이 최근 출시한 'Navigator N 1.5' 모델은 사람 평가 점수 97%를 기록했다고 밝혔다.

300개의 궤적 중 단 8개만이 부정확했으며, 이는 벤치마크를 은퇴시키고 더 어려운 과제를 구축해야 할 시점임을 시사한다. 이처럼 컴퓨터 사용 모델은 빠른 속도로 발전하고 있으며, 이미 인간의 수행 능력을 뛰어넘는 수준에 도달하고 있음을 보여준다.

이러한 성능 향상은 AI 에이전트가 복잡하고 비정형적인 웹 환경에서 실질적인 작업을 수행할 수 있는 잠재력을 입증한다.

이는 웹 자동화의 미래가 API 중심이 아닌, 실제 사용자처럼 웹과 상호작용하는 컴퓨터 사용 모델을 통해 구현될 것이라는 주장을 뒷받침하는 핵심적인 근거가 된다.