Deno, AI 에이전트 위한 '보안 방화벽' 구축… 예상치 못한 위험에 대비

Deno는 Deno Deploy라는 웹사이트 호스팅 시스템을 운영하고 있으며, 이 서비스에서 발생하는 장애(incidences)에 대응하기 위해 AI 에이전트를 활용하고 있다. 이 에이전트들은 시스템 장애를 자동으로 처리하는 데 사용되고 있다. 목표는 인간의 개입 없이도 문제를 해결하여 운영 효율성을 높이는 것이다.

Deno는 AI 에이전트에게 사고를 해결하기 위해 Postgres, Kubernetes, ClickHouse, AWS, GitHub, Slack 등 다양한 핵심 시스템에 접근할 수 있는 권한을 부여하고 있다. 이러한 시스템들에 대한 읽기 및 쓰기 권한을 실제로 제공함으로써, 에이전트가 장애 상황에서 필요한 작업을 직접 수행할 수 있도록 한다. 이 권한은 에이전트의 자율적인 문제 해결 능력을 극대화하는 데 필수적이다.

높은 수준의 시스템 접근 권한을 가진 AI 에이전트는 잠재적으로 매우 위험하다. 에이전트가 잘못된 판단을 하거나 프롬프트 주입(prompt injection) 등을 통해 악의적인 명령을 받게 되면, 심각한 문제가 발생할 수 있다. 예를 들어, 에이전트가 psql 서브프로세스를 시작하여 'delete users table' 명령을 실행하거나, 'kubectl delete namespace prod'와 같은 치명적인 명령을 호출하여 프로덕션 데이터를 삭제할 위험이 존재한다. 이러한 위험은 에이전트의 자율성과 접근 권한이 증가할수록 더욱 커진다.

Deno는 AI 에이전트 자체를 신뢰할 수 없는 소프트웨어로 간주하는 입장을 취한다. 이는 에이전트가 스스로의 행동을 통제하거나 보안을 보장할 것이라고 믿을 수 없기 때문이다. 따라서, 보안 메커니즘은 에이전트 내부에 두는 것이 아니라, 에이전트 외부에 독립적으로 존재해야 한다. 에이전트가 무슨 일을 하는지 감시하고 통제하는 '경비원(guard)'은 에이전트 자체에 내장될 수 없으며, 시스템 전체적인 관점에서 작동해야 한다는 것이 핵심 원칙이다.

실제 시스템 환경에서는 보안 통제가 매우 복잡하고 까다로울 수 있다. 특히, 에이전트가 EKS(Elastic Kubernetes Service) 서버를 통해 VPC(Virtual Private Cloud) 내부의 데이터베이스에 접근하고, 이때 HTTP가 아닌 psql과 같은 다른 프로토콜을 사용하는 경우 더욱 그렇다. Deno는 에이전트가 EKS 서버를 통해 터널링하여 psql을 실행하고 사용자 테이블을 삭제하는 등의 행위를 막아야 하는 과제를 안고 있다. 이는 단순한 접근 제어를 넘어선 정교한 통제 시스템이 필요함을 의미한다.

일반적으로 접근 제어 목록(ACL)이나 권한 설정이 보안에 중요한 역할을 한다고 생각할 수 있다. 예를 들어, Postgres에 읽기 전용(readonly) 자격 증명을 부여하는 방식이다. 그러나 이러한 접근 방식에는 한계가 있다. 단일 시스템 내에서의 권한 제어는 가능하지만, 복잡한 에이전트 환경에서는 충분하지 않다.

여러 시스템에 대한 접근 권한이 복합적으로 주어질 때 예기치 못한 보안 취약점이 발생할 수 있다. 에이전트가 하나의 시스템에 접근한 후, 그 시스템을 경유하여 다른 시스템에 접근하는 시나리오가 대표적이다. 예를 들어, 에이전트가 특정 시스템의 API를 통해 내부 네트워크에 접근한 뒤, 해당 네트워크 내의 또 다른 시스템에 대해 공격적인 작업을 수행할 수 있다. 이러한 '권한의 구성(composition of access)'은 각각의 시스템이 개별적으로는 안전하더라도, 전체적으로는 보안 구멍을 만들어낼 수 있다.

HTTP 계층에서는 HTTP Jail이나 Crabtrap과 같은 도구들을 활용하여 요청을 제어할 수 있다. 이들은 HTTP 프록시 역할을 하며 HTTP 계층에서 작동한다. 예를 들어, HTTP Jail은 특정 규칙을 설정하여 GET 요청은 허용하되 POST 요청은 허용하지 않는 등의 세밀한 제어가 가능하다. 이러한 도구들은 에이전트가 웹 기반 시스템에 접근할 때, 허용된 작업만을 수행하도록 강제하는 데 사용될 수 있다.

자격 증명(credentials)을 안전하게 관리하고 에이전트에 주입하는 기술도 중요하다. Agent Vault와 같은 프록시 시스템은 에이전트가 외부 시스템과 통신할 때 자격 증명을 주입하는 역할을 한다. 이 방식의 장점은 에이전트 자체가 실제 시스템의 자격 증명을 직접 알 필요가 없다는 점이다. 에이전트는 프록시를 통해 요청을 보내고, 프록시가 필요한 자격 증명을 첨부하여 실제 시스템에 전달함으로써 자격 증명의 노출 위험을 최소화한다. 이는 에이전트가 탈취되더라도 실제 자격 증명이 유출되는 것을 방지한다.

Deno의 시스템에서 핵심적인 부분은 규칙 설정 파일이며, 이 규칙들은 HCL(HashiCorp Configuration Language)이라는 언어를 사용하여 작성된다. HCL은 Terraform에서 주로 사용되는 언어로, Deno의 모든 서비스에 대한 권한을 정교하게 정의하는 데 사용된다. 이 언어를 통해 개발자들은 특정 작업, 프로토콜, 시스템 접근 방식에 대한 상세한 보안 정책을 선언적으로 기술할 수 있다.

Deno의 구성 파일에는 특정 Postgres 함수 호출을 차단하는 규칙이 포함되어 있다. Postgres는 HTTP가 아닌 독자적인 프로토콜을 사용하지만, 이러한 규칙은 HTTP 외의 프로토콜에서도 적용 가능하다. 이는 에이전트가 다른 시스템을 통해 터널링하는 상황에서도 명령어를 세밀하게 제어할 수 있음을 의미한다. 예를 들어, 'DROP TABLE'이나 'DELETE FROM'과 같은 위험한 SQL 명령을 시스템 수준에서 선제적으로 차단할 수 있다.

Deno의 보안 시스템인 Claw Patrol은 에이전트가 PostgreSQL 서버에 네트워크 연결을 시작할 때 작동한다. Claw Patrol은 PostgreSQL 프로토콜의 모든 바이트를 파싱하고 이해하여, 네트워크를 통해 전달되는 모든 명령을 분석한다. 정의된 규칙에 따라 위험하거나 파괴적인 작업을 감지하면 이를 즉시 차단한다. 이는 단순히 포트나 IP 주소를 제어하는 것을 넘어, 프로토콜 수준에서 실제 메시지 내용을 검사하여 세밀한 보안 통제를 가능하게 한다.

Deno의 시스템에는 유연한 승인(approval) 시스템이 내장되어 있다. 이 시스템을 통해 단순히 요청을 거부하는 것 외에 다양한 규칙을 정의할 수 있다. 예를 들어, 특정 조건의 요청에 대해서는 Slack 채널을 통해 인간 관리자의 승인을 요청하거나, LLM(대규모 언어 모델) 판독기(judge)를 활용하여 요청의 적절성을 판단하게 할 수 있다. 이러한 방식들은 단일 자동화 규칙으로는 처리하기 어려운 복잡하거나 민감한 상황에 대해 추가적인 검증 단계를 제공하며, 이 모든 옵션을 조합하여 사용할 수도 있다.

Deno의 보안 시스템은 Tailscale 또는 WireGuard와 같은 현대적인 네트워크 인프라 위에서 작동한다. 특히 Claw Patrol은 Tailscale exit node 역할을 하여, 에이전트와 시스템 간의 통신이 안전하게 암호화되고 제어된 환경에서 이루어지도록 한다. 또한, 대시보드 접근 시 인증을 위해서도 Tailscale을 활용하여 전체적인 보안을 강화하고 있다.

이 보안 시스템의 핵심 원칙은 AI 에이전트가 스스로를 통제할 수 있다고 신뢰해서는 안 된다는 것이다. 보안 경계는 에이전트 외부에 설정되어야 하며, 시스템 전체의 높은 수준에서 통제되어야 한다. 에이전트의 내부 로직이나 모델의 '선의'에 의존하는 대신, 외부적인 방화벽과 규칙 기반의 제어를 통해 에이전트의 행동을 감독하고 제한해야 한다는 것이다.

Deno의 규칙 파일은 자체적인 테스트 시스템을 갖추고 있다. 이 시스템을 통해 개발자는 특정 요청 피처(fixture requests)를 제공하고, 이 요청들이 규칙을 통과할 때 어떻게 처리되는지 검증할 수 있다. 이는 본질적으로 단위 테스트를 생성하는 것과 같으며, 특정 요청이 설정된 규칙에 의해 항상 차단되는지 확인할 수 있도록 돕는다. 이러한 테스트 메커니즘은 보안 규칙의 정확성과 신뢰성을 높이는 데 기여한다.

라이언 달은 AI를 완전히 신뢰할 수는 없을 것이라는 견해를 밝힌다. AI의 지능이 높아질수록 문제가 줄어드는 경향이 있지만, 시스템에 대한 '백스톱(backstop)' 보안 메커니즘은 항상 필요할 것이라고 강조했다. 이는 AI가 아무리 똑똑해지더라도 오작동하거나 예측 불가능한 행동을 할 가능성이 완전히 사라지지 않으므로, 인간 개입이나 외부 통제와 같은 최종 방어선이 필수적이라는 의미다.