AI 에이전트, 사람처럼 캡차 뚫는다… OpenAI “계정 정지 경고”

코리 갤런은 강연을 준비하던 중 OpenAI로부터 계정 정지 경고를 받았다고 밝혔다. 그가 준비하던 작업 때문에 OpenAI가 제재 위협을 가했다는 설명이다. 그는 "이 강연을 준비하는 동안, 제가 강연을 준비하며 수행한 작업만으로 OpenAI는 제 계정을 정지시키겠다고 위협했습니다"라고 말했다.

코리 갤런은 AI 에이전트가 인간의 개입 없이 캡차를 해결하는 시연을 선보였다. 그는 스크린에 보이는 모든 캡차가 AI 에이전트에 의해 해결되고 있음을 강조했다. "여러분은 여기에 보이는 모든 것이 AI 에이전트에 의해 해결되고 있으며, 인간의 개입은 전혀 없다는 것을 보게 될 것입니다."라고 설명하며 AI의 자율적인 문제 해결 능력을 부각했다.

코리 갤런은 브라우저 자동화의 핵심 원리로 크롬 개발자 도구 프로토콜(CDP)을 소개했다. CDP 기반 브라우저는 인간이 마우스를 사용하는 것과 유사하게 작동한다고 설명했다. 그는 "CDP 브라우저는 마우스를 가진 메타 태그와 같습니다. 에이전트가 크롬 개발자 도구 프로토콜을 사용하여 브라우저를 구동하면, 에이전트의 클릭과 키 입력은 여러분이 하는 것과 동일한 경로를 크롬 내부에서 이동합니다"라고 설명하며, AI 에이전트의 행동이 인간의 행동과 구분하기 어렵다는 점을 강조했다.

코리 갤런은 웹 자동화 도구 선택 시 CLI(명령줄 인터페이스) 도구가 MCP(다중 경로 추론) 서버보다 우월하다고 주장했다. 그는 Arise AI 연구 결과를 인용하며, CLI와 MCP 모두 약 83%의 성공률을 보였지만, CLI가 재사용성, 속도, 비용 면에서 MCP를 능가한다고 밝혔다. 갤런은 "Arise AI 연구원들의 최근 연구에서 CLI와 MCP 모두 동일한 작업을 수행했을 때 약 83%의 성공률을 보였습니다. 그러나 CLI는 재사용성, 속도, 비용 면에서 MCP를 앞섭니다"라고 설명했다.

코리 갤런은 자동화 도구 간 성능 비교에서 CLI가 MCP보다 훨씬 빠르다고 설명했다. 그는 동일한 연구에서 MCP가 71번의 왕복과 8분이 걸리는 작업을 CLI는 단 7번의 전환으로 1분 이내에 완료했다고 밝혔다. 그는 "제가 이전에 언급한 동일한 연구에서 MCP는 71번의 왕복과 8분이 걸리는 작업을 CLI는 단 7번의 전환으로 1분 이내에 마쳤습니다"라고 말했다.

코리 갤런은 CLI 도구가 토큰 비용 면에서 MCP보다 훨씬 효율적이라고 강조했다. Anthropic의 보고서를 인용하여 CLI가 토큰 비용 측면에서 최대 75배 저렴할 수 있다고 언급했다. 그는 "Anthropic 자체 보고에 따르면 CLI는 토큰 비용 면에서 최대 75배까지 저렴할 수 있습니다"라고 말하며 CLI의 경제성을 부각했다.

코리 갤런은 AI 에이전트가 브라우저를 인식하는 방식을 인간의 감각에 비유하여 설명했다. 그는 에이전트가 디지털 오감을 통해 페이지의 구조(DOM), 의미(접근성 트리), 시각 정보(스크린샷), 네트워크 트래픽, 콘솔 로그 등을 감지한다고 밝혔다. "가장 좋은 방법은 에이전트에게 제공하는 디지털 감각으로 생각하는 것입니다. 페이지를 보고 DOM에서 구조를 읽거나, 접근성 트리에서 의미를 읽거나, 픽셀이 필요하면 스크린샷을 찍을 수 있습니다. 페이지를 듣기도 합니다. 이것은 네트워크 트래픽이나 콘솔, 로그가 될 수 있으며, 클릭, 키 입력, 탐색으로 페이지를 조작합니다"라고 상세하게 설명했다.

코리 갤런은 AI 에이전트의 브라우징 프로세스가 감지(Sense), 행동(Act), 검증(Verify)의 루프를 기반으로 한다고 설명했다. 그는 페이지가 응답할 때까지 이 과정을 반복한다고 덧붙였다. "감지, 행동, 검증, 그리고 페이지가 굴복할 때까지 이 과정을 반복합니다"라고 말하며, 에이전트가 목표를 달성하기 위해 끊임없이 상호작용하는 원리를 간결하게 요약했다.

코리 갤런은 자동화 과정에서 교차 검증의 중요성을 강조했다. 그는 특정 행동의 성공 여부를 확인하기 위해 해당 행동 자체에만 의존하지 말고, 네트워크나 화면 등 다른 채널을 통해 검증해야 한다고 설명했다. "만약 무언가를 클릭했다면, 클릭 자체가 성공했는지 묻지 마세요. 네트워크를 확인하거나 화면을 확인하세요"라고 조언하며, 신뢰성 높은 자동화를 위한 방법을 제시했다.

코리 갤런은 웹사이트의 저항 수준에 따라 인간 행동을 모방하는 '미택 사다리 기법'이라는 3단계 전략을 소개했다. 그는 이 기법이 단계가 높아질수록 더욱 인간적인 행동을 모방한다고 설명했다. "이것은 사다리를 오를수록 점점 더 인간적인 기술들의 사다리입니다"라고 말하며, 웹 자동화의 복잡성에 대응하기 위한 계층적 접근 방식을 제시했다.

코리 갤런은 '미택 사다리 기법'의 첫 번째 단계로 '합성 자바스크립트 클릭'을 설명했다. 이 단계에서는 가장 효율적인 API 기반 자동화를 통해 인간적인 행동을 전혀 모방하지 않는다. 그는 "1단계에서는 전혀 인간적으로 행동하지 않습니다. 페이지 내에 노출된 API를 사용하여 합성 자바스크립트 클릭을 발행할 수 있다면 그렇게 하십시오"라고 말했다. 이는 최소한의 노력으로 목표를 달성할 수 있을 때 가장 단순한 방법을 사용해야 함을 의미한다.

코리 갤런은 '미택 사다리 기법'의 세 번째 단계는 인간의 입력과 행동이 필요할 때 사용된다고 설명했다. 이 단계에서는 실제 마우스 궤적, 약간의 지연 시간과 떨림, 그리고 시각적 해석을 통해 인간의 행동을 완벽하게 재현한다. 그는 "인간의 입력과 행동이 필요할 때 3단계로 올라갑니다. 이것은 실제 마우스 경로일 수 있으며, 약간의 지연 시간과 떨림이 있거나 실제로 사물을 보고 해석하기 위한 시각적 요소가 포함됩니다"라고 말하며, 가장 고도화된 자동화 단계를 설명했다.

코리 갤런은 자동화 설계의 완성 과정을 설명하며, 탐색, 수동 루프 실행, 사다리 기법 활용, 그리고 자동화의 순서를 제시했다. 그는 "먼저 탐색합니다. 루프를 수동으로 실행합니다. 작동할 때까지 사다리를 오릅니다. 그리고 자동화합니다"라고 말했다. 이 과정은 시행착오를 통해 가장 효과적인 방법을 찾아내고, 이를 코드로 구현하여 안정적인 자동화 시스템을 구축하는 반복적인 절차를 의미한다.

코리 갤런은 웹 UI를 범용 API처럼 활용하는 이유로 기업 환경에서의 권한 문제를 꼽았다. 그는 기업 환경에서 오피스 365 테넌트의 API는 앱 등록과 관리자 승인이 필요하지만, 웹 로그인 정보만 있으면 모든 것이 가능하다고 설명했다. 이 방식은 기업 내에서 별도의 IT 승인 없이도 업무 자동화를 수행할 수 있게 한다. 또한 웹 UI 자동화는 더 다양한 비즈니스 케이스에 적용될 수 있으며, 개발자가 직접 제어할 수 있는 유연성을 제공한다.

API가 없는 레거시 시스템이나, 특정 기능에 대한 API가 제공되지 않는 경우에도 웹 UI를 통해 자동화를 구현할 수 있다. 그는 기존 시스템의 제약을 우회하고, 사용자가 가진 로그인 권한만으로도 강력한 자동화 기능을 구현할 수 있는 점이 큰 장점이라고 강조했다. 이는 기업의 디지털 전환 속도를 높이고, 반복적인 수작업을 줄여 생산성을 향상시키는 데 기여할 수 있다.

갤런은 이 방법론이 단순히 기술적인 우회를 넘어, 조직 내에서 효율적인 업무 프로세스를 구축하는 데 중요한 역할을 한다고 설명했다. 복잡한 승인 절차나 기술적 장벽 없이, 실제 사용자가 웹에서 수행하는 모든 작업을 AI 에이전트가 대신할 수 있게 하는 것이다. 이를 통해 기업은 IT 부서의 부담을 줄이고, 직원들은 더 중요한 업무에 집중할 수 있게 된다.

궁극적으로 웹 UI를 범용 API로 사용하는 것은 기업이 가지고 있는 기존 자산을 최대한 활용하면서도, 새로운 기술 도입의 장벽을 낮추는 전략적인 접근 방식이다. 그는 이러한 유연성과 접근성이 웹 자동화의 미래를 이끌어갈 중요한 요소라고 덧붙였다.

코리 갤런은 인터넷의 최종 보스인 reCAPTCHA v2를 돌파하기 위한 전략을 제시했다. 그는 reCAPTCHA v2가 체크박스와 흐릿한 격자 이미지로 구성되어 있으며, 이를 공략하려면 디지털 센서와 반복 루프, 그리고 사다리 기법이 필요하다고 설명했다. 그는 "reCAPTCHA V2는 체크박스와 흐릿한 격자 이미지로 이루어져 있는데, 이를 돌파하려면 디지털 센서와 반복 루프, 그리고 사다리 기법이 필요합니다"라고 말했다. 이는 캡차 해결이 단순한 기술적 문제가 아닌, 복합적인 전략이 필요한 과정임을 시사한다.

코리 갤런은 reCAPTCHA v2 공략을 위해 시스템을 크게 두 부분으로 나누어 설명했다. 그는 코드로 이루어진 '솔버(Solver)'는 결정론적으로 작동하여 빠르고 무료인 작업을 수행하며, 눈과 뇌가 필요한 이미지 판독 작업만 '오퍼레이터(Operator)'인 AI 에이전트가 처리한다고 밝혔다. 이 시스템은 결정론적 코드를 통해 머신 속도로 주행하며, 라운드당 한 번의 AI 판독만 거쳐 시간을 최적화한다.

솔버는 캡차 해결의 뼈대 역할을 하며, 클릭 위치 계산, 요소 식별 등 미리 정해진 규칙에 따라 작동한다. 반면 오퍼레이터는 캡차 이미지의 실제 내용을 해석하고, 어떤 이미지가 특정 조건에 해당하는지 판단하는 AI 비전 모델을 담당한다. 이렇게 역할을 분담함으로써 시스템은 빠르고 효율적으로 캡차를 해결할 수 있다.

이러한 구조는 AI 에이전트의 불필요한 연산을 줄여 비용을 절감하고, 처리 속도를 높이는 데 기여한다. 갤런은 이 방식이 단순히 캡차를 돌파하는 것을 넘어, 자율적인 웹 자동화 시스템을 구축하는 데 필수적인 방법론이라고 강조했다.

코리 갤런은 캡차 공략의 핵심이 속도라고 강조했다. 캡차에는 시간 제한이 있어, AI 에이전트가 모든 클릭과 판독 과정에서 모델을 거치면 시간 초과로 실패하게 된다는 것이다. 그는 결정론적 코드로 머신 속도로 주행하고, 라운드당 딱 한 번의 AI 판독만 거치는 방식이 필요하다고 설명했다. 그는 "캡차는 시간 제한이 있습니다. 에이전트가 모든 클릭과 판독 과정에서 모델을 거치면 시간이 초과됩니다. 결정론적 코드로 머신 속도로 주행하고, 라운드당 딱 한 번의 AI 판독만 거치는 방식이 필요합니다"라고 말했다. 이는 효율적인 자동화를 위한 필수적인 최적화 전략이다.

코리 갤런은 캡차 자체보다는 이를 돌파하는 과정에서 얻는 엔지니어링 방법론의 중요성을 강조했다. 그는 캡차가 단지 방법론을 증명하기 위한 까다로운 테스트일 뿐이라고 설명했다. 갤런은 "캡차 자체는 그저 방법론을 증명하기 위한 까다로운 테스트일 뿐입니다. 핵심은 규율 있는 엔지니어링을 통해 에이전트가 기존 모델로는 할 수 없는 작업을 수행하게 만드는 것입니다"라고 말했다. 이는 캡차를 넘어서는 범용적인 웹 자동화 기술 구축에 초점을 맞춰야 한다는 의미다.

코리 갤런은 지속 가능한 웹 자동화 아키텍처 구축을 위해 CLI(명령줄 인터페이스)와 CDP(크롬 개발자 도구 프로토콜)의 활용을 제안했다. 그는 에이전트에 CLI를 제공하여 프로그래밍하고, CDP로 디지털 센서를 활용해 브라우저를 구동하는 방식을 설명했다. 또한 사다리 기법을 통해 페이지가 요구하는 수준만큼만 자동화 단계를 높여 문제를 해결하는 것이 가장 효율적이고 유용한 방식이라고 강조했다. 그는 "에이전트에 CLI를 제공하여 프로그래밍하고, CDP로 디지털 센서를 활용해 브라우저를 구동하세요. 사다리 기법으로 페이지가 요구하는 수준만큼만 올라가 문제를 해결하는 것이 지속 가능하고 유용한 방식입니다"라고 설명하며, 미래 지향적인 웹 자동화 모델을 제시했다.

코리 갤런은 자신이 모든 자동화 과정에 사용하는 'Chrome Agent' 도구를 소개했다. 이 도구는 파이썬 생태계에서 설치할 수 있다고 설명했다. 그는 이 도구를 강매하려는 것이 아니라, 이 강연을 통해 얻은 지식을 바탕으로 청중들 스스로 자신만의 도구를 만들어 웹 자동화의 시대를 활용해 보기를 권장했다. 그는 "제가 모든 자동화 과정에 사용하는 Chrome Agent는 파이썬 생태계에서 설치할 수 있습니다. 하지만 이 도구를 강매하려는 것이 아닙니다. 여러분만의 도구를 만들어 웹 자동화의 시대를 활용해 보시길 바랍니다"라고 말했다.